1950年6月18日，陈仪被蒋介石下令处死后、汤恩伯得了一个“卖师求荣”的恶名，军政界与他来往的人少了。 自己种下的苦果，只能自已吃。汤恩伯变得郁郁寡欢。

不久，汤恩伯所有的职务都被撤销，只剩下-个“总统府战略顾问”的虚衔。陈仪一案，使他精力交瘁。他原来就有严重的胃病，因为情绪低落、心情忧郁，胃病再次复发。医生诊断为胃疡和十二指肠，建议去美国治疗。出国治病的报告送到蒋介石哪里，蒋签上“就地医治”不许他出国。

这么一熬，就是三年。1953年10月2日，雷震来看望汤恩伯，见他病情严重，建议他赶快住院治疗。汤恩伯愤愤地说:“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等着死！”

过了半年，汤恩伯突感腹部疼痛，医生发现他的十二指肠部有一个肿瘤，判断可能是癌症，再次建议他到国外做手术。汤恩伯的家人立即给“总统府” 打报告，这次蒋介石同意了。

1954年5月26日晚，汤恩伯在家人的护送下，搭乘日航班机去东京。汤坐的是经济舱。这个航班的头等舱里，刚好坐着蒋介石的驻日“大使”董显光。他听说汤恩伯也在飞机上，便请汤到头等舱去，但怎么相劝汤都不愿意去。董显光只好陪着汤坐在经济舱。就这样，汤恩伯咬紧牙关在经济舱里坚持了两个小时，撑到了东京。

随即，他住进了日本庆应大学附属医院。

在日本，汤恩伯做了三次手术。前两次手术非常顺利。汤恩伯十二指肠上的瘤已经割去，因为患有胃溃疡，胃也割去了三分之二。预计做完第三次手术后，7月底可出院，休养一段时间，秋凉后返台。当国民党政要谷正纲、胡健中前往医院探望时，汤恩伯还滔滔不绝地介绍自己的病情，对痊愈充满希望。

然而，最后一次手术，汤恩伯没能从手术台上下来。

据击者说，汤死前痛苦不堪，虽然上了麻药，但似乎无效。他在手术台上大叫不止，拼死挣扎，医生用力按住，直至力竭而亡。 关于汤恩伯的死，坊间有许多传言。有的说是医疗事故，有人分析，汤恩伯是抗日名将，杀过不少日本人。日医中可能有亲属死于侵华战场，便记恨于汤，趁机报复。 不管怎么说，汤恩伯的突然去世，在日本和中国台湾都引起巨大反响。其实，汤恩伯对日本人并不坏，冈村宁次关押期间，他多次前去看望，送礼品、送烟酒；冈村宁次最后被释放、毫发无损地回到日本，就是他派人把他“救”出来的。他对日本人唯恐不周，对恩师铁面无情，卖师求荣，最终被朋友抛弃，被日本人害死。这个下场也算是报应。

陈冠任著、中共党史出版社的《治国录：毛泽东与1949年后的中国》（全四册）记述了此事，该书为该社的畅销书，与最近出来的《建国录：毛泽东与1921—1949年的中国》（全四册）为姊妹篇，为中共党史版“毛泽东传”。