寻迁尚书令,与安共掌朝政。安每曰:“朝之大事,众不能决者,谘王公无不得判。”以年老,上疏乞骸骨,诏不许。转拜护军将军,加散骑常侍。安欲更营宫室,彪之曰:“中兴初,即位东府,殊为俭陋,元明二帝亦不改制。苏峻之乱,成帝止兰台都坐,殆不蔽寒暑,是以更营修筑。方之汉魏,诚为俭狭,复不至陋,殆合丰约之中,今自可随宜增益修补而已。强寇未殄,正是休兵养士之时,何可大兴功力,劳扰百姓邪!”安曰:“宫室不壮,后世谓人无能。”彪之曰:”任天下事,当保国宁家,朝政惟允,岂以修屋宇为能邪!”安无以夺之。”故终彪之之世,不改营焉。
加光禄大夫、仪同三司,未拜。疾笃,帝遣黄门侍郎问所苦,赐钱三十万以营医药。太元二年卒,年七十三。即以光禄为赠,谥曰简。二子:越之,抚军参军;临之,东阳太守。
棱字文子,彬季父国子祭酒琛之子也。少历清官。渡江,为元帝丞相从事中郎。从兄导以棱有政事,宜守大郡,乃出为豫章太守,加广武将军。棱知从兄敦骄傲自负,有罔上心,日夕谏诤,以为宜自抑损,推崇盟主,且群从一门,并相与服事,应务相崇高,以隆勋业。每言苦切。敦不能容,潜使人害之。