据《三国志》记载，刘备是一个命中克妻之人，所以当年在老家的时候“数丧嫡室”。等到刘备起兵之后，在沛城娶了一个姓甘的女子为妾，这个甘夫人就是刘禅的生母。至于阿斗的小名，也是因为甘夫人夜梦仰吞北斗而孕，所以才取了这样一个小名。
据记载，刘禅童年的时候曾经被人拐卖到汉中，直到建安十六年，有一个扶风人刘括因避乱来到汉中，刘禅又被卖到他家。刘括问他的身世，知道他是正经人家的孩子，就把他收为养子，并且给他娶了妻，生了孩子。后来，有一个姓简的人是刘备麾下的将军，他听刘禅说自己的生父字玄德，便告诉了刘备。刘备这才派人前去验证，发现果然是自己失散的孩子，才将他接到了益州（四川），立为太子。
除此之外，《三国演义》中还有一个“截江救阿斗”的精彩故事，主角也是赵云，不过这次还有张飞协助。当时刘备率兵入川，荆州政事暂由诸葛亮代为处理。
这时候，吴国的孙权贪图荆州，便想趁刘备不在夺取荆州。
但是，孙权的妹妹孙尚香尚在荆州，他怕作战时妹妹被扣做人质，便以老夫人病了为由将其先行骗回，并企图将刘备唯一的骨肉刘禅也带回去，将来可以做人质威胁刘备。不过，正待孙尚香登船之际，赵云便追了上来，夺回了刘禅。当时情况危急，幸好有张飞赶来断后，截住了东吴的船只，才使得赵云顺利脱身。
这几个故事的真伪现在也无从考证了，但都说明了刘禅的童年确实过得很不顺利，经受了很多磨难。