1519年，在年轻的国王弗朗索瓦一世的命令下，一座宫殿在索洛涅沼泽的中心地带拔地而起。然而，香波堡却并不是为了日常居住而建造的，弗朗索瓦一世也就在此短暂居住过几个星期而已。比起其它城堡，被赋予了王权象征的香波堡，可谓是弗朗索瓦一世向其他国家的君主以及外交使节炫耀王权的工具。城堡的构建以及装饰景观皆围绕着中轴展开，而这根中轴就是达·芬奇妙想的结晶－－闻名于世的双螺旋楼梯。双螺旋楼梯从一楼盘旋而上，一直通往高耸烟囱与雕花柱头林立的露台。
一直到路易十四时期，香波堡才正式竣工。也同样在这一时期，城堡的周边才得到了整治和美化。城堡外建起了马厩，科松河的一段被引入香波堡，以利于整座城堡的污水排放。“太阳王”路易十四曾多次和整个宫廷前来香波堡小住，尽享盛大的狩猎与娱乐活动。而1670年，莫里哀更曾在香波堡第一次上演了他的著名喜剧《贵人迷》。
十八世纪，路易十五对城堡内部进行了一些整修。之后，他的岳父，即被流放的波兰国王斯坦尼斯瓦夫·莱什琴斯基（Stanislas Leszczynski）曾于1725年至1733年在这里居住。几年后，萨克斯元帅（maréchal de Saxe）也受邀居住于此，作为其丰特努瓦战役（Fontenoy)大捷（1745）的奖赏。出于对取暖与舒适的需求，这些住客们也都在房间中添置了护壁板、地板、吊顶与橱柜，香波堡终于迎来了真正意义上的装修。
香波堡在法国大革命中可以说是幸免遇难。虽然城堡被洗劫一空，家具遭到拍卖，但是，建筑本身却被完好地保存了下来。一直无人问津的城堡，直到1809年，才被拿破仑赠予贝尔蒂埃元帅（maréchal Berthier），以感谢他的尽忠职守。1821年，通过全国认捐，香波堡归于查理十世国王的孙子波尔多公爵（duc de Bordeaux）。然而，波尔多公爵直到1871年才第一次来到香波堡小住。尽管公爵不常在此居住，但他仍然关心着城堡与庄园的维护，还任命了一位总管对整座园区进行管理，同时还开展了大规模的修缮工程。也就是在这一时期，香波堡正式向公众开放。1883年，公爵去世后，城堡作为遗产由他的侄子们，即波旁•帕尔马王子们（Bourbon Parme)继承。1930年，香波堡及园林为国家所购得，并一直延续至今。
