由于长时间在军事上没有起色，曾国藩和湘军遭遇了组建之后的低谷。曾国藩以团练大臣的身份创建湘军，又用了很多乡绅读书人带兵打仗，无论怎么说，都被当时一些官员视为越轨行为。屡屡受挫的情况下，明枪暗箭不断向他袭来。当然，让曾国藩感到最伤脑筋的，还是来自于朝中的压力那些遗老遗少们不断向咸丰上奏折说他的坏话，说他如此一个迂腐的书生，哪里懂得打仗呢？只是以打仗之名，沽名钓誉，甚至心怀不轨。

在江西，由于战事的不顺利，湘军在给养上也遭遇到很大麻烦。最初，曾国藩筹饷的基本办法是留下比中央财会制度所能提供的更多的资源，也就是说，曾国藩会同地方大员制定一些新的收入政策，来保证军饷的发放，主要措施包括：一是设置一些不受户部直接控制的新的地方岁入项目，将这些所得截留；二是他的部属一旦就任抚督之后，便将岁入权集中在自己手中，避开户部的干预，将其中的一部分用于湘军的供给；三是卖官鬻爵在湘军兴办之初，湖南巡抚骆秉章为了支持曾国藩，把这一项权力交给了曾国藩，这样，出售官衔所得成为早期湘军主要经费来源之一。随着湘军人数的增加，到了后来，这三项措施用到了极致，也无法保证军队的供给，湘军欠饷情况非常严重。因为欠饷，军士们士气低落，开小差的，甚至图谋不轨的都有。内部军心不稳，让曾国藩尤为担心。由于曾国藩没有地方大权，他所带的湘军在江西又属外来军队，所以，很多当地官吏都视曾国藩的湘军为额外负担，用得着时，供给还算及时，用不着时，供给就变得拖拖拉拉。打了胜仗没有奖励，如果战败，则备受讥笑，供给更是无从谈起。曾国藩虽然挂了一个兵部侍郎和团练大臣的头衔，但那些大大小小的地方官一直存有戒心，经常阳奉阴违，硬磨软抗。有时甚至还为曾国藩设计陷阱，让他自己往下跳……这些乱七八糟的事情叠加在一起，千头万绪，让曾国藩困顿无比。虽然曾国藩的意志一如既往地坚定，但每每遇到这样的麻烦，也感到束手无策，忍不住长吁短叹，甚至会激起愤怒。

最让曾国藩愤怒的是“彭寿颐事件”和“毕金科事件”了说起来，话就长了曾国藩初入江西时，巡抚是湖南人陈启迈，并且，跟曾国藩一样，陈启迈也曾为翰林院官，按说，对于曾国藩，陈启迈应该格外关照。但陈启迈却经常跟曾国藩过不去，动不动就以不给饷要挟。曾国藩为了大局一直忍气吞声。比如，陈启迈不经曾国藩同意，擅自调动湘军，忽东忽西，忽南忽北，朝令夕改；制造摩擦，羁押湘军营官副将周凤山于长江县，刑辱参将李成谋于芷江县……这些，曾国藩都忍了。孰料陈启迈越做越过分，有一次，万载县有一个叫彭寿颐的举人，在乡下办团练，对抗太平军很有成效，打过几次小胜仗。曾国藩很赏识此人，想把这支民间力量纳入湘军。陈启迈听说后，故意以一个“莫须有”的名义，将彭寿颐押进大牢，严刑拷打。曾国藩实在气极了，他很快收集了陈启迈许多罪名，向朝廷参了一本。罪证确凿之下，朝廷将陈启迈革职查办。不料，新上任的巡抚文俊仍跟曾国藩过不去事后看来，地方大员跟曾国藩的冲突，主要是利益上的冲突，巡抚是一个省的当家者，不当家，哪知收支的艰难呢！一个当家的跟一个要钱的人产生矛盾，也是最正常不过了湘军有一支驻守江西樟树一带，领军的叫毕金科，文俊很长时间不给这支湘军供给。眼看毕金科部弹尽粮绝，快支撑不下去了。文俊让人传话，如果毕金科部能拿下景德镇的话，马上就给他们发饷。在这种情况下，毕金科和他的部属只好以死相拼。在数万守城的太平军面前，毕金科带领一千多人攻城，无异于以卵击石，结果毕金科部全军覆没，毕金科本人也战死。消息传到曾国藩这里，曾国藩恨得咬牙切齿，这明显就是借刀杀人啊！数年之后，曾国藩攻克景德镇，特地在毕金科丧命的地方立下石碑一块，亲自撰写碑文，文中，对于毕金科遭受陷阱一事，仍旧忿忿不平。