香波堡明朗的几何线条、协调的比例以及布满墙角塔、烟囱与眩目天窗的奇特屋顶引来人们的连连赞叹与遐想。我们在奇妙的双旋梯上，隐约看到达芬奇的风格。这位御用建筑师在1519年城堡开工前几个月去世。酷爱狩猎的弗朗索瓦一世国王作为这项工程的出资者，仅在这里住过数周时间以方便到周边森林打猎。每次离开后，他都不留家具和留守人。这位国王在有生之年并未看到城堡完工。

弗朗索瓦一世的后继者们几乎从不来香波堡。如果说亨利二世继续了祈祷堂侧翼的工程，查理九世只是很偶尔来这里打猎，倒是奥尔良公爵加斯东给这里重新带来了一点生气。这位公爵曾两次被他的国王哥哥路易十三放逐到布洛瓦伯爵领地。在1634至1660年间，他经常来香波堡居住，因此对这里进行了初步的改造和修复，如将他的房间设在皇家侧翼。但城堡的建设实际是等到路易十四时代才告完工。这位国王对这个引人入胜的地方非常喜爱，以至于他八次巡幸这里时都会打猎、看莫里哀与吕利的芭蕾舞剧和戏剧，如《浦尔叟雅克先生》和《贵人迷》。后者的首演就是于1670年在城堡举行的。从1668年开始，由于国王驾临时会将宫廷搬来，因此，他命人将祈祷堂侧翼修完。为了在城堡主塔二层隔出皇家套房，他不惜打破原有的格局对这里进行改造。但同时，为了城堡能容下更多人居住，他将矮墙加高了一层。城堡外部也进行了规划，如建起马厩和花园，但这些工程还远没有结束。

十八世纪是香波堡历史上有人居住时间最长的时期。从这个时期开始，城堡成了国王赏赐的贵重“礼物”。路易十五的岳父波兰国王斯坦尼斯拉斯.斯莱茨格辛斯基由于被本国人赶下台，因此来找路易十五寻求庇护。在这个背景下，他在香波堡住了八年时间。在他居住期间，这里常年陈设从凡尔赛家具库送来的家具。1748年，莫里斯.德.萨克森成为香波堡的新住户。为了奖励他为法国取得的辉煌战功，他被晋升为元帅，并在1748年被路易十五封为香波堡的终身长官。在他居住的两年时间里，来自皇家家具库的家具源源不断地充实着城堡陈设。城堡被装饰一新。在这个象征辉煌宫廷生活的地方，狩猎和戏剧占据重要的地位。由于城堡常年有人居住，因此人们开始对建筑师孟沙未完成的马厩加以修整，以便在这里建起皇家种马场。1750年，萨克森元帅去世，他的侄子弗列森伯爵来到香波堡，并在这里居住了五年时间。
从1784年开始，波里涅克侯爵作为城堡长官在这里定居下来。为了迎接国王路易十六可能的驾临，他对城堡的陈设进行维修，并规划出新的区域。在大革命期间，香波堡的未来无人问津，因此，这里先后成为草料库、火药制造厂、拘留所以及荣誉军团第15大队的总部。
在取得了瓦格拉姆会战的胜利后，拿破仑将香波堡赏赐给了贝蒂埃元帅。但他只享用了两天。后来，在得到国王路易十八的许可后，他的遗孀将城堡拍卖出售。为了让城堡重新回到王位继承人——查理十世之孙波尔多大公手中，国家对城堡进行了认购。最后，1820年，这位年仅一岁的继承人终于成为城堡新的主人。

但是，由于长期流亡他乡，他到1871年时才借一次短暂的逗留机会来到自己的城堡。在这次逗留期间，他撰写了一篇著名的声明，用以阐述自己拒绝继位的原因。尽管处在流亡之中，但他仍开始为城堡修复积极奔走。后来，他的侄子们——波旁-帕尔玛继续在1881至1892年期间对城堡进行紧锣密鼓的修复，他们特别修复了城堡主塔的顶塔。
从1932年开始，香波堡归国家所有。此后的修复工作一直没有间断。