文禄二年（1593年）春夏之交，日本方面，前线兵将普遍厌战，尤以小西行长为最。行长军在平壤之战中丧尽了主力，这些主力大都是他自己的子弟兵，不是丰臣政权从上而下拨给的，在行长想来，如果再战下去，自己的实力只有丧得更多，而再来两场败仗，即便最后打赢了，论功行赏也未必有自己的份儿，既然如此，不如议和。而在明朝方面，李如松在碧蹄馆吃了败仗不算，此后一直后退，放弃开城回到平壤，这一举动引起中朝双方的舆论大哗。普通朝臣和百姓不知兵事，并不清楚明军究竟遭到了多大损失，光看李如松退兵的举动，就以为仗已经打不下去了，于是议和之声此起彼伏。明朝兵部尚书石星就站在议和派的最前沿。

于是在石星的授意下，经略宋应昌于三月十五日派沈惟敬到京城去和小西行长等人商谈和平退兵事宜。最后双方达成四点协议：一，明军撤出朝鲜；二，日军从京城后退；三，日方释放俘虏的朝鲜二王子和官吏；四，明朝派使节去名护屋会见丰臣秀吉，开始正式和谈。

在小西行长的大力游说下，日方绝大多数将领，包括曾经坚决主战的小早川隆景和加藤清正也被迫认清了现实。四月八日，以参将谢用梓、游击徐一贯和沈为敬等人组成的讲和使团进入京城，催促日军撤离，加藤清正、立花宗茂等将领态度突然大变，又跳起来怒骂，小西行长好不容易才把他们压制下去了。

丰臣秀吉的亲信将领主要分为三个集团，即跟他从尾张出来的子弟、受封长滨后招收的近江人，以及征伐中国地区时招收的东中国豪族们，这三个集团互相争功，早有矛盾。其中加藤清正是尾张系的代表人物，他本是秀吉正妻北政所的亲戚，从小如同养子一般被抚育长大。小西行长则是堺的豪商小西隆佐之子，后来出仕备前大名宇喜多直家，转从丰臣秀吉，是东中国系的代表人物，和近江系的石田三成等人也一贯交好。在朝鲜战场，清正和行长两人各自统兵前进的时候，就摩擦不断，矛盾很深，此刻行长既然一立主和，清正当然要跳出来坚决主战，以表明与对方的不同。然而事实上，清正早就通过沈惟敬和宋应昌有所联络，主动表示愿意退出京城。

四月十八日，在丰臣秀吉的命令下，日军全部撤出京城，次日李如松率中朝联军进城。五月十五日，李如松渡过汉江进至庆尚道东南部的庆州，在这里对朝鲜军做了一番防御部署后就又退回京城。此时，除全罗、庆尚两道的南部地区外，中朝联军已经收复了全部失地。当年七月，李如松如约撤出朝鲜，明朝只留下四川参将刘綎和游击吴惟忠率七千六百人分驻要隘，防备日军背信进攻。

五月八日，明朝使团在增田长盛、石田三成、大谷吉隆三奉行和小西行长的陪同下，从釜山出海，十五日到达九州名护屋。虽然中方的正式讲和使乃是谢用梓和徐一贯，但因为语言不通，直接商谈相关事宜的还是沈惟敬和小西行长。丰臣秀吉狂妄地提出了“大明、日本和平条件”七条，命令行长传达给明使

一，迎明朝公主为日本皇后；二，继续发展勘合贸易；三，明日两国武官永誓盟好（因为日本是武人掌权的）；四，京城及四道归还朝鲜，另外四道割让给日本；五，朝鲜送一王子到日本作人质；六、日军交还俘获的朝鲜二王子及其他朝鲜官吏；七，朝鲜大臣发誓永不背叛日本。

如此苛刻的条件，让小西行长也很难向明使开口。在明朝使节想来，蕞尔小国的日本，所以发兵打一下朝鲜，不过为了引起明朝的注意，想要发展双边贸易，多得点钱财，天朝上国，有谁不倾慕的吗？因此明使谈判的前提就是“封贡”，即日本承认明朝名义上的宗主国地位，明朝给予赏赐和允许通商，让他们大发一笔横财，仅此而已。小西行长本人也是希望封贡的，封不关他事，贡则可以给他这个九州大名带来很大利益，何乐而不为呢？

反正明朝讲和使听不懂日本话，急于停战的小西行长和急于立功的沈惟敬就串通起来，开始欺上瞒下，大耍阴谋手段。行长对秀吉说，明使已经同意了他提出的条件，但必须回去北京交皇帝最后批准，明朝人最爱面子，皇帝可能会提出要日本称臣，咱们挂个空名却得实利，没什么不好。沈惟敬则对谢用梓和徐一贯说，日本人已经答应了向明朝称臣，请求封贡。

丰臣秀吉不愧老奸巨猾，他怕事情还有反复，就命令在朝日本军队部分撤兵，留下九州大名们在朝鲜沿海筑城固守，以等待谈判协议的正式签署。不仅如此，他还下达了进攻晋州的命令，这才发生了六月二十九日的晋州大屠杀。小西行长陪同明朝讲和使回到朝鲜以后，以自己必须留下来勒束部下为名，派家臣内藤如安为使者，随同明使前往北京。内藤如安，中国史书上记载为小西飞，他本是丹波内藤家的家督，也就是继承内藤苗字的松永长赖的儿子。