张佩纶婚后一直住在天津北洋总督衙门内，着意回避政治。但原本是政治中人，又是“宰相”李鸿章的女婿，还住在“政治旋涡”的北洋总督府内，最终未能逃避政治。1894年7月，中日甲午战争爆发，丰岛海战中方失利，支援牙山的部队沉于海底；陆路驻守牙山的中国军队因敌众我寡而失利。8月1日，清政府向日本宣战。甲午战争，事关重大，李鸿章首当其冲，张佩纶自不能免，此时他在北洋总督府亦不能不对此屡发议论、屡提建议，一些建议与李的其他幕僚不合，因此得罪了一些人。就在清政府对日宣战之后、平壤战役全面展开之前，朝廷突然下诏，将张佩纶逐出天津，勒令其立即回原籍。原来御史端良奏劾张佩纶，说他以罪臣身份待在北洋总督府，紧随李鸿章，“居北洋幕中，妄干公事”，应对这几次战争失利负责。奏劾张佩纶，是军机大臣、醇亲王亲信孙毓汶和北洋总督衙内李鸿章的几个亲信共同策划的结果。因为孙向来以贪著称，十几年前张佩纶就参劾过他，故一直想找机会报一箭之仇。李鸿章左右则因对张提的意见不满而生忌恨，其中主角竟是李鸿章长子李经方。郎舅失和，反目成仇。

不得已，张只得离开天津，但他提出想去南京，因张在直隶丰润老家已无直系亲属，且张自幼在南方长大，更习惯南方生活；朝廷则认为丰润离天津太近，所以也同意他到南京。1895年初春，中国军队节节败退之时，被逐出北洋衙门的张佩纶携妻南下南京。随后几年国事蜩螗，张佩纶“忧伤君国”却又对政坛深感失望，无可奈何。1900年秋，慈禧急盼李鸿章北上与列强“议和”，尤怕自己被列为应受惩罚的“祸首”，盼李与列强交涉，使自己免受惩罚。这时，慈禧又下旨重新起用张佩纶，赏他为翰林院编修，随同李鸿章办理交涉事宜。但张并无意于此，经多次催促才在1901年初谈判基本结束时前往北京。在形势逼迫下，慈禧也下诏变法，开始行“新政”，设立“督办政务处”统办全国新政，庆亲王奕劻、荣禄、王文韶等人担任督办政务大臣，张佩纶被任命为襄办。不过，他对于仕途已意兴阑珊，不顾众人劝说坚辞不就，离京返宁。李鸿章于1901年深秋在北京逝世时，张佩纶在南京未及奔丧。

1902年至1903年，此时已是“天下名臣”的张之洞暂署两江总督，来到南京。多年老友近二十年未见，在此期间却只见了一面。个中原因，说法不一。一说是张之洞知道朝廷不喜张佩纶，故百般推脱。另一说法则正好相反，谓张之洞来宁后多次想见张佩纶，但后者因当年同僚如今天壤之别而以病辞之。不论哪种说法，终归最后还是见了一面。回首当年意气风发，今天物是人非，二人垂泪而别。1903年初，张佩纶于潦倒中在南京病逝。1909年秋，已是体仁阁大学士、军机大臣的张之洞在北京病逝，清廷颁布上谕高度赞其一生并赐谥号“文襄”，可谓备极哀荣。

不过，从某种意义上说，“二张”最终的命运却完全一样：“”中响应“横扫一切牛鬼蛇神”之“伟大号召”的红卫兵，在1966年11月8日掘开了张之洞与三位夫人合葬在家乡河北南皮县双庙村的坟墓，四人尸骨被曝荒野，任人拨弄踢踹，不知所终；1967年10月24日，红卫兵掘开张佩纶与夫人合葬在家乡河北丰润大齐坨黑山沟的坟墓，二人尸骨完好，被红卫兵用锹镐捣烂。