公元1129年说起，就是在这一年，金左副元帅宗维攻陷徐州，驱军南下，扼守在淮阳的韩世忠军一触即溃，败走盐城，金兵长驱直进，一路杀到扬州附近的天长军。以往金军入侵之时都是靠着韩世忠和岳飞等一批名将的竭力抗击，宋朝皇室才方保无忧。但这次连韩世忠的军队都在金兵的冲击下失败，自然使得宋朝皇室失去了赖以依存的屏障。韩世忠的这次失败使宋高宗惊恐万分，逃跑得比以往任何一次都狼狈。由于受到过度的惊吓，宋高宗赵构在这次事件之后就失去了生育能力，而他唯一的儿子也在苗刘之变后死去，加上太宗系的后人，在靖康之变后基本被金国一网打尽，因此从太宗的后代之中几乎找不出可以继承自己皇位的合适人选。为了不至于使自己在百年之后皇位落于外姓人氏之手，宋高宗被迫在宋太宗的哥哥宋太祖的后代中寻找可以继承自己皇位的人选。
与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事。经过一番仔细的搜寻，宋高宗终于找到了一胖一瘦两个小孩。在两个太子人选当中，赵睿便是其中一位偏瘦的小孩。刚开始，宋高宗对赵睿并没有太大的好感，而是中意胖点的小孩。按理说赵睿继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。事情的经过是这样的：有一次，宋高宗将赵睿和胖小孩叫到一起，恰巧此时闯进了一只猫，赵睿正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下;而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁。
胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，最终，高宗打发走了胖小孩，将赵睿留在宫中。按理说，赵睿被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。
最终，他想出了一个既可以不使韦太后生气，又可以考验赵睿和赵琢的万全之策：给他们两人分别送去十名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。宋高宗想出的这个招数很管用，效果也很明显。送给赵睿的十个佳丽被召回来之后完好如初，而送给赵琢的十个佳丽却全部都不再是处女。最终，赵睿通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座。
后人评价赵构，说他一生行事，唯选太子最称公允。能上慰天地，下慰祖宗，仅此而已。然而，一则有宋太祖的先例，二来自己没有儿子，所以选立孝宗，也实在是出于无奈罢了。