从春天到夏天的那段时间里，太平军的进攻连连得手，湘军连战连败，形势急转直下：1855年4月，太平军秦日纲、陈玉成部攻下了武昌，湖北巡抚陶恩培情急之下，自杀身亡；8月，湘军悍将塔齐布久攻九江不下，忧愤而死；紧接着，胡林翼又在汉阳附近遭遇败绩……那段日子里，曾国藩困守在鄱阳湖边南昌和南康两府的狭小地区，文报不通，联系中断，即使传来的，也是一些不好的消息。此时，曾国藩的处境已极为危险，连家书和奏折都很难送出去。曾国藩不得不在家书中频繁地使用暗语，甚至，用蜡丸将家书密封起来，派人化装送出。即使如此，曾国藩的信差还是有好几次被太平军俘获，遭到杀身之祸。每天，曾国藩所看到的，都是鄱阳湖中单调的情景：一望无际的沼泽地，一只又一只野鸭钻入水中，或者，几只大胆的麻雀在残缺的芦苇当中飞来飞去，间或草丛中有一些动静，仔细看去，原来是水蛇在苔藓上静悄悄地滑行，然后游离于枯树上发出沙沙的声响……到处都是风声鹤唳，空气紧张得令人窒息，仿佛随时都可以杀声震天、刀光剑影……曾国藩后来在回顾这一段经历时写道：“方其战争之际，炮震肉飞，血瀑石壁，士饥将困，窘若拘囚，群疑众侮，积泪涨江，以夺此一关而不可得，何其苦也。”湖湘大儒王湘绮撰写《湘军志》，当时文件时，朦胧之中好像见到曾国藩的窘状：“闻春风之怒号，则寸心欲碎；见贼船之上驶，则绕屋彷徨。”那正是曾国藩当时的真实写照。

到了1856年，对于湘军来说，战局进一步恶化，太平军在江西的军事形势发展到最高峰，控制了十三府中的八府五十四州县。3月，湘军周凤山部在江西樟树镇大败，南部大门洞开，曾国藩不得不离开湖口，亲赴南昌收集溃勇，调集水陆各军全力防守省城。4月，更恶劣的消息不断传来：先是太平军大破朝廷绿营江北大营；然后，一则消息如晴天霹雳般传来，让曾国藩捶胸顿足湘军将领罗泽南在武昌身亡！罗泽南算是曾国藩的嫡传弟子了，本来，罗泽南一直在湖北战场，曾国藩江西战败之时，给罗泽南写了一信，让他火速调兵来江西救援。罗泽南收到曾国藩的信后，立即救援江西，走到一半时，因武昌被围，湖北形势急迫，罗泽南又不得不掉转方向回湖北解救。武昌被太平军攻下之后，罗泽南火急火燎，决定不顾一切将武昌城夺回。攻城之时，武昌大雾弥漫，城内太平军敢死队一下子涌出，对攻城部队一顿乱砍乱杀，湘军不明形势，乱作一团。罗泽南左额中弹，三天之后不治而亡。听到罗泽南的死讯，曾国藩泪流满面，这是一个名将啊！德高望重，智勇双全。在湘军中，曾国藩最欣赏的，就是罗泽南与彭玉麟了，这两个人无论是人品还是才学，都堪称三湘翘楚。罗泽南还曾是曾国荃的老师。虽然罗泽南一直不太愿意离开湖南作战，但因敬重曾国藩，还是跟曾国藩出了湖南。从湘军组建开始，罗泽南几乎就没有打过一次败仗，即使是在曾国藩“屡败屡战”之际，罗泽南也是无坚不摧，屡战屡克：“罗泽南破贼于城陵矶”、“罗泽南率师北渡”、“罗泽南克通城县”、“泽南破贼于贵溪”……只要罗泽南出马，总能转危为安……现在，武昌攻下了，罗泽南却身亡前线，曾国藩不由号啕大哭。