传说，盗墓的人最害怕遇到一种墓，这种墓的墓主人会特意让人在下葬的时候在墓中刻上一句话：“你不动我，我不动你！”清朝的乾隆皇帝就曾遇到过一个神秘的古墓。
当年，乾隆见海淀这片区域风景秀美，便打算在这里建造一个“大观园”，用来玩乐享受。有人就将民间的一个传说告诉给乾隆，说万寿山下有一座明朝古墓，好像是明朝某位王妃的墓地，这个王妃生前很是厉害，不是什么善主就是了，她的墓恐怕是动不得的！
乾隆认为自己是真龙天子，有龙气护身，不觉得可怕，坚持派人在此地建造园林。当人们动手挖地的时候，怪事连连，最后众人迫于皇帝的压力，加紧动工挖墓，当墓门终于露了出来的时候，众人却再也不肯再继续下去了。
官员将此事报告给乾隆，乾隆一听大怒，什么怪事竟让工人全部罢工了，信不信他把他们全都杀了，他的话他们还不听了是吧！
最后，乾隆亲自驾临了万寿山施工现场，他来到那座墓的大石门前，只见墓门上赫然写着八个大字：“你不动我，我不动你！”
不知为何，听臣子汇报和现场来看，感受竟全然不同，乾隆看完这几个大字，竟然感觉心头一惊，背后一凉，大白天的他却突然莫名其妙的冒冷汗。乾隆赶紧离开了这个地方，从那以后他就下旨，命人把古墓的土都给盖回去。
乾隆害怕极了，他不放心地又追加了一个命令，那就是在万寿山上修建一座大佛庙来镇压住地底下的鬼魂，这座佛庙就是如今的佛香阁。
据说，乾隆原本打算修建一座九层佛塔的，但是，当建到第八层的时候，不知何故乾隆下了一道圣旨，把已经建好的八层佛塔全部拆掉，最后重新修成了一座八方阁，这就是最终形态的佛香阁。
有人认为，乾隆之所以放弃修成九层的佛塔，是因为这座塔和他想象中的不一样，他觉得不美观。还有人认为，乾隆修八方阁，是因为这一带已经有了很多塔，他希望佛香阁能和其他塔区别开来，最好是扎塔群里一眼就能看见的那种。
其实，在许多探索古墓的影视作品中和民间的各种传说中，古人似乎都特别喜欢用“你不动我，我不动你”这种话来威胁和震慑盗墓者。有的人相信这种带有诅咒性质的话，但也有人并不相信这些，该进墓的还是得进去。