一直蒙在鼓里的容闳此时才知道陈、吴等人对他和留学生的诬告，愤怒异常，立即给李鸿章写信说明真相。但为时已晚，朝廷已深受陈兰彬等人的影响，认为留美幼童问题严重，容闳难辞其咎。而且，陈兰彬等人继续连上奏章，罗织罪名，一再要求朝廷将留美学生完全撤回。得知清政府态度后，容闳又气又急，四处奔走，想方设法拜访、联络美国社会名流和政要，希望借助他们的力量劝说清政府改变态度，挽回事态。由耶鲁大学校长朴德起草，一百多位大中小学校长、老师、幼童监护人联名给清政府主管留学事务的总理衙门写了一封长信，盛赞留美幼童近十年来的表现，说他们品学兼优，可望成才，如果中途撤回，功亏一篑，前功尽弃，殊为可惜，对中国来说损失巨大。大文豪马克·吐温亲自找到曾经访问过中国、与李鸿章相识的前总统格兰特，请他帮忙。格兰特立即给李鸿章写信，希望中国政府允许这些学生在美完成学业后再回国，否则极为可惜。

但这些全无用处，当时国内朝野上下，无人知道、理解美国名牌大学校长的社会地位和意义，很可能以为只是一个“洋私塾先生”呢。而李鸿章得到格兰特的信后则举棋不定，提出留一半、撤一半的妥协办法，显示出典型的“李氏处事风格”。但这时朝廷已决定将留美幼童全部撤回，1881年6月,总理衙门大臣奕上《奏请撤回留美肄业学生折》，援引陈兰彬的话指责留美幼童“腹少儒书，德性未坚，尚未究彼技能，先已沾其恶习”，不辨是非，“路歧丝染，未免见异思迁”，提出将留学生全部撤回。从1881年8月起，留美幼童分三批撤回，将近十年的留美学习，终于功亏一篑。

与大清王朝撤回留学生形成鲜明对照的是，明治维新后的日本向国外派遣留学生的规模越来越大。1854年，闭关锁国的日本被美国军舰敲开了大门，一些藩国的首领认识到“开国进取”才是国家富强的根本之道，于是不顾幕府禁令，偷偷派遣少数学生到欧美学习。自明治维新以后，向国外大量派遣留学生成为日本国策。1869年派了50个人，1870年派了150人，到了1873年，就有上千人在欧美留学。派出的留学生中还有五名女生，明治天皇亲自接见了九岁的津田梅子，慰勉她到国外好好学习；有一位还是詹天佑在美国的同班同学。很多留学生回国后，在日本的军事、教育、政治等各方面的体制现代化变革中起了重要作用。中、日两国留学事业的不同命运，也从一个侧面预示了中、日两国在近代的不同命运。

留美幼童提前撤回，容闳教育兴国计划中途夭折，是中国近代化的一次严重挫折，不过，其意义不容低估。与日本明治时期留学生对本国的作用相比，留美幼童对中国社会近代化所起的作用固然要晚得多、小得多，但这恰恰说明中国的“出洋留学”所面临的反对、困难和障碍要比日本强得多、大得多，所以其“突破性”意义或许更大。从晚清直到民国后的一段时间里，中国的近代化事业艰难行进着，而人数不多的留美幼童在这困难重重的转型中起了非同小可的作用。据不完全统计，其中七人在中法、中日海战中牺牲，国务总理一人，外交部长两人，海军元帅两人及海军军官多人，铁路专家和管理者十四人（五人是铁路局长），矿冶专家九人，军医四人，电信专家和管理人员多人(三人担任电信局长)，航运造船多人。其中，包括曾任江南造船厂厂长的邝国光，创办清华大学的前身清华学校并担任第一任校长的唐国安和北洋大学校长蔡绍基，而教师、律师、医生、新闻媒体人员、商人、金融界人士等则更多。