陈胜命周市攻取魏地，并立魏咎为魏王，在河南临济与秦军会战。辞别陈 伯，与一伙青年到临济投靠、效劳魏王咎。魏王咎见他办事有能力，任命他当了太仆。陈平想将胸中韬略和已所揣摩的天下大计，全部献给魏王。但魏王却不用陈平 之计，陈平见魏王咎不成气候，心中就想离开他。
过了一段时间，发兵攻城到了河上郡，陈平毅然前往归附，并且追随项羽入关灭秦，而获赏赐爵邑。
高帝元年（前206），项羽违背“先入关中者王之”之约，自封为西楚霸王，定都于彭城，而把封为汉王。不久，汉王起兵汉中，首先平定关中，然后再向 东进军。此时，殷王叛楚，项羽封陈平为信武将军，前去征讨。陈平用计，降服了殷王凯旋归来，项羽拜陈平为都尉，赐金二十镒。
谁料陈平刚平定殷地不久，殷地便被刘邦所夺，殷王也成了俘虏。项羽闻讯大怒，他恼恨殷王，以致迁怒于陈平等灭殷的将领。陈平料定项羽定会迁怒于己，也知项羽为人刚愎自用，难成大业，便封还项羽所赠黄金与印绶，带剑逃走，准备去投奔刘邦。
陈平逃到黄河，呼船渡河。船夫见陈平衣冠楚楚、一表人材，又是孤身一人，便怀疑他是逃亡的将领，定有金银财宝在身，于是就想杀害他，以谋财货。陈平看出 船夫的恶念，心生一计，解脱衣服，帮船夫撑船。船夫发现陈平一无所有，才没有杀他。从这小事，也可看出陈平智慧不同凡响。
陈平逃到河南修武，凭着与魏无知的关系而进见汉王刘邦。当时，与陈平一起进见者有七个人。汉王赐他们酒饭，饭后说：“吃完饭了，且去休息！”陈平说：“我为要事而来，要说的话很重要，不能拖到明天。”
刘邦便与他交谈，一交谈就很投机，在很多事情上，两人的见解竟不谋而合。于是刘邦问陈平：“你在楚营任何官职？”陈平回答：“做都尉。”汉王说：“我现在马上就任命你为都尉，而且，再让你为参乘，典护军。”
命令一出，刘邦的部将就大为不满，都说刘邦不公：“偶然得到一个楚国的逃兵，也不知道他到底有何才能，就与他坐一辆车，而且让他当监护军中的资深将领。真是岂有此理？！”
古人乘车，驾车人居中，尊者居左，另一个居右，这居右的人就称之为参乘。参乘是最亲近者方能获得的贵差。陈平刚刚降汉，便得汉王如此重用也难怪将吏们心怀不满。
不管别人如何议论，刘邦仍然重用陈平。
后来，刘邦率领陈平一起攻伐项羽，至彭城，被项羽击败，退驻荥阳。刘邦又任命陈平为亚将，隶属于韩王信，在河南广武地方驻扎。
绛侯周勃与中大夫令灌婴心中愤愤不平，向刘邦进言，劝刘邦不要盲目宠信陈平。他们说：“陈平虽然相貌伟美，常人中难见，但那只是长相，内心未必有真才实 学，也很可能只是个绣花枕头罢了！有人传说，陈平在家时，与嫂子私通。投魏，不为魏所容。后逃归于楚，又不合己意。没办法才跑到我们这里来。您现在给他高 官，命他典护军，可他却接受诸将贿赂，送黄金多的，便给一个好位置，送黄金少的，就给一个不好的位置。这样一个反复无常的小人，请大王好好考虑后才重用 他。”
刘邦纵然相信陈平，听此也有了三分疑惑。于是便召问魏无知。魏无知说：“我推荐的是他的才能，您现在所问的是他的品行，这两者是不同的。当此用人之际，一个光会讲信义的君子与一个光会讲孝道的孝子，对我们争夺天下是没有什么大用处的。试问，君子、孝子能帮您打败项羽吗？陈平有奇谋，如果好好驱遣使用，一定会有利于国家。至于他跟他的嫂子关系如何，受了别人多少金子，实在没必要追究下去。”
刘邦听了，认为很有道理，不过他还是把陈平唤了进来：“你原来在魏王手下，后来又跑到霸王手下，如今又追随我。你说说，你是怎么想的，难道不怕人们说你反复无常吗？”
陈平回答：“我离开魏王，是因为他不能采纳我的计策；我离开项羽，是因为他不相信别人，除了项家的人和他妻子的兄弟外，即使是旷世的奇才，他也不肯重 用；我投奔您，是听说您能任用贤者。我逃离楚军，身无分文，不接受黄金，便无以维生。如果我的计划谋略确实可用，请您放心地任用我；倘若我的才能不足任 用，我所受的黄金还没花，我愿意把它交还，并请大王允许我到山林隐逸。”
听了这番话，刘邦疑虑顿消。重赏了陈平，还继续任命他为护军中尉，监护所有的将军。这样一来，诸将也就无话可说了。