衍妻郭氏,贾后之亲,藉中宫之势,刚愎贪戾,聚敛无厌,好干预人事,衍患之而不能禁。时有乡人幽州刺史李阳,京师大侠也,郭氏素惮也。衍谓郭曰:“非但我言卿不可,李阳亦谓不可。”郭氏为之小损。衍疾郭之贪鄙,故口未尝言钱。郭欲试之,令婢以钱绕床,使不得行。衍晨起见钱,谓婢曰:“举阿堵物却!”其措意如此。
后历北军中候、中领军、尚书令。女为愍怀太子妃,太子为贾后所诬,衍惧祸,自表离婚。贾后既废,有司奏衍,曰:“衍与司徒梁王肜书,写呈皇太子手与妃及衍书,陈见诬见状。肜等伏读,辞旨恳恻。衍备位大臣,应以议责也。太子被诬得罪,衍不能守死善道,即求离婚。得太子手书,隐蔽不出。志在苟免,无忠蹇之操。宜加显责,以厉臣节。可禁锢终身。”从之。
衍素轻赵王伦之为人。及伦篡位,衍阳狂斫婢以自免。及伦诛,拜河南尹,转尚书,又为中书令。时齐王乂有匡复之功,而专权自恣,公卿皆为之拜,衍独长揖焉。以病去官。成都王颖以衍为中军师,累迁尚书仆射,领吏部,后拜尚书令、司空、司徒。衍虽居宰辅之重,不以经国为念,而思自全之计。说东海王越曰:“中国已乱,当赖方伯,宜得文武兼资以任之。”乃以弟澄为荆州,族弟敦为青州。因谓澄、敦曰:“荆州有江、汉之固,青州有负海之险,卿二人在外,而吾留此,足以为三窟矣。”识者鄙之。