卡里斯布鲁克城堡是怀特岛仅存的中世纪城堡。它建在一个罗马遗址上。城堡的土方工程开始于1070年。大约70年后，在这个地方建造了炮台。现在，诺曼人的家庭建筑都没有留下。带有鼓楼的门楼可以追溯到14和15世纪。

在 1377法国人在该岛登陆，但城堡没有受到攻击。

在伊丽莎白时代，西班牙舰队在附近的战斗中被拒之门外，西班牙入侵的威胁得以避免。然而，为了抵御新的大炮，城堡被大大地改变了。外围的防线被建在旧城堡的周围。幕墙、堡垒和防波堤至今仍保持着良好的状态。

1647年，查理一世被囚禁在城堡里。当他被卡在铁栅栏里时，一次逃跑的尝试失败了。

后来，该城堡是怀特岛总督的临时住所，维多利亚女王最小的女儿比阿特丽斯公主担任总督时，这里成为她的家。