1977年7月，在中共十届三中全会上，通过了恢复邓小平职务的决议。8月12日，党的第十一次代表大会在北京召开，罗瑞卿继“八大”之后又一次被选进中央委员会，并在十一届一中全会上被任命为中央军委秘书长。这是罗瑞卿几经浮沉之后，再挑重担。

罗瑞卿被任命为军委秘书长的事情很突然，秘书班子一时还没有配齐，而工作已经铺天盖地而来。罗瑞卿让人把以前的卫士长赵文岐找来。赵文岐已经40多岁，再做警卫不太合适，罗瑞卿就叫他改任秘书。

那时，军委秘书处有8位副秘书长。拨乱反正，需要做的工作千头万绪。那时还没有军委办事组，规章制度也还没有完全恢复，什么事一请示就到了罗瑞卿这里。有些事罗瑞卿答复不了，还要再往上请示。

后来，秘书多了，除了赵文岐，还有金耀铭和陶驷驹。关于罗瑞卿的认真，金耀铭是体会到家了。文件上几个错字，罗瑞卿都要自己动笔改。郝治平说：首长这么忙，几个错字你就替他改了得了。金耀铭说：他要自己改，这是原件，是历史档案，他一定要是他自己的字。

金耀铭到任时，赵文岐已经忙得连脚都恨不得也要用上了。那时真是有办不完的事，信也不断，好多受迫害的人都来找。后来冤假错案都一律交给总政处理，罗瑞卿的担子才减轻了些。

罗瑞卿也没有看到自己的平反。他那時批转信件，帮助那么多受迫害的同志平了反，却忘了自己也应该平反。郝治平问起他，他说：不要急，现在党也有难处，我们不要给党增加困难。……