。李家父子的团练队伍训练有素，战斗力较强。在这段时间里，李鸿章跟随周天爵、李嘉端、吕贤基和必禄·福济等清廷官员，在安徽中部与太平军、捻军作战。尽管他以书生的身份带兵，但很快就意识到，真正的将领不应只看重一时的胜负，而是要有长远的战略眼光。
1855年，因攻克安徽含山县的功绩，李鸿章被赐予知府衔。同年十月，因率团练收复庐州，他奉旨被记名以道府使用。1856年，随着巢县、和州等地的收复，李鸿章又获得了按察使衔的奖励。然而，功高盖主，李鸿章也因此遭到不少嫉妒与诽谤，几乎难以立足于乡里。1857年，安徽巡抚福济奏报李鸿章丁忧，为父亲守制，暂时结束了他长达五年的团练生涯。
1858年，太平军再次攻陷庐州，李鸿章携家眷逃离，辗转到达南昌，暂住在他哥哥李翰章家中。这一年，他深感仕途坎坷，感叹“昨日梦封侯，今日已非”。同年十二月（1859年1月），在哥哥李翰章的介绍下，李鸿章加入了湘军首领曾国藩的幕府，协助处理军务。当时湘军刚刚经历了三河之战的惨败，急需人才重整旗鼓。曾国藩对李鸿章特别重视，悉心指导他处理政务和军务。
在曾国藩的影响下，李鸿章的思想、性格乃至生活习惯都发生了显着变化。曾国藩性格温和，而李鸿章则更加果敢决断。两人在处理事务时常常互补，曾国藩常常犹豫不决，但在李鸿章的几句话下便能做出决定。
1860年秋，李鸿章与曾国藩之间因移军祁门和弹劾李元度的问题产生了严重分歧。李鸿章认为祁门地形险要，不适合驻军；而对于李元度的弹劾，李鸿章认为曾国藩的做法欠妥。李鸿章拒绝起草弹劾文书，并与幕僚一同争论，最终愤而离开曾国藩的营地。经过友人的劝说和曾国藩的多次邀请，李鸿章于1861年六月七日重新回到湘军大营。自此之后，李鸿章在曾国藩的阵营中地位更加稳固，成为镇压太平天国起义的核心力量之一。
三、组建淮军
咸丰十年（1860年），太平军第二次打破江南大营后，清政府失去了长江下游的最后一支主力部队。随着太平军向苏杭推进，江南地区的豪绅地主纷纷涌向上海避难。为了保护这座重要的通商口岸，当地的士绅买办一方面筹备“中外