相传乾隆不是雍正的亲生儿子，而是海宁陈阁老陈世倌之子。在雍亲王（雍正）福晋分娩的那一天，恰好陈阁老的夫人也生下了一个孩子，只是前者是女孩，后者则是个男孩。此时的雍正听说后，密令家人将陈阁老请来，并强调一定要带着小孩。然后借口福晋要看孩子，将小孩带入内室，将自己的女孩换给陈家。陈家后来发现不对，但不敢声张。
没想到，男孩天资聪明，深得康熙，雍正二帝的喜爱，最后竟成为一代君王。后来因为乳母多嘴让乾隆知道了自己的身世，他才六下江南时。暗去海宁省亲。传说乾隆还喜欢穿汉人的衣服，还问旁边的臣子自己像不像汉人。后来一位满洲老臣告诉他这样子有失体面，他才罢休。（不过此说法不是真实，历史学家不同意）
从逻辑上说，乾隆不是雍正的长子。也就是说，雍正并不担心无人继承他的王位。而且，“九子夺嫡”的皇位之争已经进入白热化，雍正怎么敢与他人交换孩子，而给政敌留下话柄。血统历来为儒家人伦所重视，在封建社会由是，以堂堂皇家之尊，不可能与普通臣民交换儿子，以致乱了皇家血统，因此，乾隆身世之谜可以确切地说子虚乌有。
有学者认为，雍正的继位很大程度原因是因为乾隆的关系，是康熙看好乾隆，才给雍正做皇帝。康熙大帝有97个皇孙，能养育宫中亲自教导的少之又少。
乾隆即是其中之一，康熙第一次见到乾隆的时候，就感觉很亲切，非常宠爱他，后来乾隆在御制诗集中多次写诗怀念祖孙二人相处时的融洽。