曾国藩的九弟曾国荃对他说，"你是两江总督，加上闽浙总督左宗棠，四川总督骆秉章，江苏总督李鸿章三个现任总督，还有五个现任巡抚全是湘军嫡系。大哥手里握着20万湘军精兵， 遣 李秀成收纳 10万太平军降兵，这样30万之师，即可攻破京师，恢复汉家江山，大哥将成为一代帝王。"曾国藩回答道："共患难时大家可以是朋友；同富贵往往成了仇敌。就说那个左宗棠，他做师爷时便不甘居人之下；如今同我平起平坐，他肯对我俯首称臣？再说李鸿章，我若平稳安泰他就是我的学生；我若不顺，他定会反戈一击。还有那个李秀成，他投降了，就是一只丧家犬，谁还听他的？再说，朝廷防我之心令人枕席难安。"这一番话叫曾国荃无话可说。
事情正是曾国藩预感那样，按咸丰帝遗言，"克复金陵者王"。可当曾国藩攻克金陵后，慈禧却仅仅给其一个一等毅勇候，并未封王。朝廷还下诏令要曾国藩和各级将领，从速办理军费报销。江西巡抚沈葆桢本是曾国藩的下级，他裁减了湘军的军饷，户部也准了。又有蔡寿祺连上两道奏折，弹劾曾国藩等湘系人物破坏纲纪等8条罪状，也有人主张严厉追究重要人犯太平军将领李秀成之死的责任，危机显露。有一些事情涉及到同曾国藩关系密切的恭亲王奕。工于心计的慈禧太后不去碰曾国藩，恐生哗变；而是革去了恭亲王奕的议政王及总理衙门差使，来了个敲山震虎。
再说当时的客观情况。一是虽然湘军兵力在江南数省占优势，但清廷的官文据长江上游，富明阿、冯子才分守扬州、镇江，僧格林沁屯兵粤皖，这表明清政府对湘军早有防备。二是浙江左宗棠、江西沈葆桢已被清政府拉了过去，许以高官厚禄，地位与曾国藩不相上下，成为湘军背后的两把利剑。三是曾氏对成功没有必胜的把握。湘军号称30万人，曾国藩能调动的仅有5万人，其中李鸿章虽由曾国藩一手扶植，但到了关键时刻，不一定会像曾国荃、彭玉麟、鲍超那样对其死心塌地，甚至很有可能站到清廷一边。四是曾的幕客赵烈文预料"清命不过五十年，想要南北朝也不可得"。曾国藩也相信这点。第五也是最关键的，根深蒂固的儒家忠君思想使得曾国藩不想当皇帝，不敢当皇帝，不敢拿全家族的命运做赌注，铁了心只想做一名大清朝的忠臣。
面对朝廷的不信任，熟读四书五经的曾国藩内心早有急流勇退的意念。功高招忌，狡兔死、走狗烹，道理人人知道，但真正能把握的人有几个？伍子胥、韩信等历史上太多的权臣，加上清初年间的年羹尧、隆科多等都因不懂得功成身退而身败名裂。"用事太久，恐人疑我兵权太重、利权太大。意欲解去兵权，引退数年，以息疑 谤 一段话。"他要向朝廷明其志，独善其身，要做诸葛亮似的忠臣。