和其他的皇宫一样，白金汉宫也存在着“闹鬼”的说法，最出名的一次发生在2010年4月，当时根据皇宫警卫表示，宫内展览区的一扇防火门经常莫名其妙地被人打开，于是对此地进行了监控录像，结果真的发现了一个“鬼魂”的影子，后来还公布了这张照片，很多人看完之后都表示，他非常像曾经过世的老国王乔治三世，而且白金汉宫之前的前身是一处修道院，因此不少人都相信这里的“闹鬼”传说！
1703至1705年，白金汉公爵约翰·舍费尔德在此兴建了一处大型镇厅建筑，将府邸改名为“白金汉府”，19世纪前期的豪华式建筑风格，庞大的规模甚至比华丽的外表更加引人注目。之后它曾一度用于帝国纪念堂、美术陈列馆、办公厅和藏金库。直至约六十年之后成为王室成员住所