陈冠任

中华人民共和国成立后，耿飚长期脱离军界，在外交和外联部门工作，因此1955年解放军授衔时，他没有被授予军衔，后来成为唯一没有军衔的国防部长。

回军队任职

1979年1月2日，中央军委副主席、总参谋长邓小平宣布：中央军委决定耿飚回到军队任职。

1月11日，党中央任命国务院副总理耿飚兼任中央军委秘书长，协助军委主席、副主席处理中央军委的日常工作。

耿飚回归军队这一天，工作人员送来了军装。耿飚等不及夫人赵兰香给新衣服过水，当即就穿上了，并且连声说：“好哇，穿什么都不如穿它舒服。还是红旗式的领章好，还是那颗红五星好。”

精简整编

1981年3月，耿飚兼任国防部长。

上任国防部长后，耿飚执行中央军委主席邓小平“军队消肿”政策，开始了军队的精兵简政。

这次大“消肿”，精简部隊达到100万人之多。

在中央军委会议上，耿飚动员说：“现在这个样子化不了（实现国防现代化）……我们都是从枪林弹雨中出来的，大家都懂得指挥机关人多了，高大了，并不能提高效率，反而很多事情难办。过去办事情简单，一个电话，或者把人找来，当面几句话一说，回去就办妥了。现在办事情有些人搞官僚化那一套……搞那么多干部，说是能上能下，实际上能上难下，提起来高兴，降下去就不高兴，还要骂娘。现在要消肿，做三年计划，真正消肿！”

在耿飚等人的积极努力下，人民解放军经过这次精简整编，总员额由600多万人降到400多万人。铁道兵和基建工程兵从此在军队序列中消失。