隆庆元年,高拱委托御史齐康弹劾徐阶,将他儿子横行乡里的罪状全部报上来。郭朴也以徐阶草拟遗诏,诽谤先帝为由,向他进攻:所谓的先帝遗诏,根本就不是先帝的意思,徐阶只是在给先帝招黑,让他老人家自己打自己的脸!面对压力,徐阶赶紧上疏辩解,支持他的人特别多,毕竟是多年老臣了,树大根深,九卿以下纷纷弹劾高拱。在强大的舆论压力下,高拱顶不住了,只好请病假,递上辞职报告:对不起,我身体不太好,无法胜任工作,请组织允许我回家休息。皇帝准了;齐康、郭朴也随之离开了中央。
事情结束后,朱载坖心里很不是滋味,这么多大臣,如此卖力地为徐阶说话,假如国家有难,他们会不会挺身而出,为朕赴汤蹈火呢?裕王府的旧臣也对高拱的离去感到伤心,部分官员对徐阶当年奉承严嵩的事不满,虽然是韬光养晦的政治手段,但这些没怎么经历过官场黑暗的人就是不理解,认为徐阶真的就是那样的人。隆庆皇帝命令中官李用等人分别监管团营,遭到徐阶极力劝阻,认为不妥,此事得罪了宦官。后来南京振武营兵屡次发生哗乱,徐阶命御史将他们遣散,并惩处了为首者,又一次把宦官给得罪了,因为振武营是他们管的。《明史》记载:“阶所持诤,多宫禁事,行者十八九,中官多侧目”;隆庆二年春,朱载坖想要去南海子游玩,徐阶又劝,使皇帝更为恼火,出去玩玩你也管,管得也太宽了吧!当给事中张齐以私人恩怨弹劾徐阶时,徐阶请求退休,隆庆皇帝早就有这个想法,批准了;徐阶从此离开政坛,回老家当起了他的地主。