想在一个陌生的地方立足并不是一件简单的事情。
李鸿章和淮军初到上海时，由于这群来自乡下的兵勇衣裳褴褛，自由散漫，粗话连篇。几乎没人瞧得起这支叫花子军队，连上海的官绅、百姓都对这支军队能不能打仗表现出强烈的怀疑。
遭到质疑后，淮军上下开始乱了，大有破罐子破摔的意图。
本来是因为援助才不远千里来到了上海，本以为会被捧为座上宾，没想到却遭到如此奚落和冷遇。李鸿章非常愤怒，真想离开上海，回到曾国藩的身边。
但转念一想，如果就这么回去，岂不是丢人丢到家了，再说，和曾国藩也没法交代啊。
即使整个淮军倒下了，我也不能倒。我就是一个标杆，一面旗子，只有我还立着，淮军才有希望走出困境。
别人瞧不起自己无所谓，如果连自己也瞧不起自己的话，那么你就毁了，不会再有什么希望可言了。
我不能毁了自己，更不能毁掉淮军。
于是，李鸿章勉励自己的弟兄们，要自尊、自立、自爱、自强。还深挖洞、高筑墙，步步为营，对抗太平军的攻势。
这个时期，李鸿章嘴边经常挂着一句话："贼娘的，给我好好搞。"（合肥土话）
为了切实提高淮军的战斗力，他一方面抓训练、抓纪律，整肃军队，去除军队的散漫习气；另一方面，借鉴和学习洋人军队的一些做法，因为洋人部队纪律严明，训练有序，整体化和科技化程度高。
在1862年初，上海的防卫大致是这样的，除了有一支大约3000人的中国武装外，还有一支由大约3000名英国、英属印度、法国人组成的军队。这支武装力量在1860年初步建成，装备有来复枪和榴弹炮，在美国人华尔的指挥下，由西方退役军人充任军官，是中国地方士绅和商人出钱的外国雇佣军，由于它的发展壮大，1862年3月，清廷颁布命令承认了它的合法性，并给予"常胜军"的称号。
由于在上海见识了洋人军纪和武器的厉害，所以，李鸿章聘请了洋人担任自己部队的教官，并通过大哥李瀚章，向洋人火速购买了3000杆洋枪，充实淮军的实力。在18621864年间，他就增建淮军营头30多个。
李鸿章还尽可能按照湘军制度改造这些部队，定期发饷，每天唱以"爱民"为主题的歌曲。但形势迫人，新招募的新兵未经过适当的训练，便编成新营。
另外，他也时常教育淮军将士要遵守纪律，不得扰民，并把自己的信条不爱钱，不怕死，传授给他们，让他们时刻铭记自己是一名军人，把为国家效力作为人生的第一选择。
淮军的实力在不断壮大，朝廷自然不会视而不见，为了拉拢李鸿章，好事来了。
在淮军抵沪17天，即4月25日，就得到朝廷的任命：署理江苏巡抚，同年12月，又由署理而实授江苏巡抚。
李鸿章从一个遗缺道骤然升为独当一面的封疆大吏，这与他手握重兵和曾国藩的举荐是分不开的。
再说，八旗和绿营扶不上墙，清廷只好依靠李鸿章手下的淮军绞杀苏南太平军，依靠曾国藩集团保全东南大局。
在清代官场中，李鸿章的升迁速度是惊人的，这要得益于太平军威胁下异常的情形和他自己所具备的军事和行政工作能力。
机遇只垂青于有准备的人，在急剧变化的形势下，李鸿章成了维护清廷统治的最佳人选。看来当初选择跟着曾国藩混是正确的。
年仅40岁的李鸿章肩负重任，面临异常严峻的局势，头脑还是比较清醒的，他深知淮军驻沪的最终目标是保住上海进而夺取苏、常，彻底铲除太平军。
若想完成这个重任，就必须妥善解决军事、吏治、筹饷和洋务等问题。所以，李鸿章除了扩军备战大力加强军事实力外，还做了其他工作。
一、整饬吏治，收揽人才
晚清的腐败是路人皆知的，江苏的官场已经腐败到了极点，上海尤为突出。官吏们为了贪财捞钱，不惜媚外卖权，中饱私囊；他们为了满足私欲，相互勾结，巧取豪夺，把大清的国法当做耳旁风。
李鸿章想扭转官场这种腐败的风气，但心有余而力不足。因为强龙难斗地头蛇，为了求得淮军生存，尽自己的能力对吏治进行了一番整顿，虽然治标不治本，但也取得了一定的效果。为了控制江苏一省的军、政、经济大权，李鸿章不仅对江苏一省的吏治进行整顿，还网罗人才，建立和不断充实自己的幕府。
二、千方百计筹集军饷
李鸿章之所以被曾国藩推荐援沪，除了单纯的军事和政治目的外，他还存有私心，那就是希望能用上海的税收支助湘军。自从五口通商后，上海日趋繁荣，海关洋税的收入日渐增多，但仍入不敷出。李鸿章果断采取了海关厘税分收分用的政策，使得军饷有专拨之款，有效地控制了饷源。基本上解决了淮军的饷需问题，还资助了在西线作战的湘军。
三、巧妙利用洋人势力
李鸿章在上海虽然已经意识到西方的挑战，洋人对大清虎视眈眈，但上海特殊的情况让他在外交上不得不选择在自强的前提下曲线救国。李鸿章决意维持自己部队的地位，不许他们依赖欧洲人，也不依赖华尔指挥的中国军队。但李鸿章不会把西式的武器装备和新的训练方法拒之门外，因为这些东西能提高淮军的战斗素质。
当然，如今最大的敌人是太平军，所以，李鸿章也会和常胜军联合作战，毕竟，和洋人的矛盾还没有上升为主要矛盾。