南方自桓温死后,上下流相持的形势,暂时缓和。而孝武帝委政于其弟琅邪王道子,旋又相猜忌,使王恭镇京口,[3]殷仲堪镇江陵以防之。这时候,京口的北府兵强了,然而其实权都在刘牢之手里。仲堪亦不会带兵的,一切事都委任南郡相杨佺期。道子则嗜酒昏愚,事都决于其世子元显。孝武帝死后,子安帝立。王恭、殷仲堪连兵而反。元显使人游说刘牢之,倒戈袭杀王恭。而上流之兵已逼,刘牢之不肯再替他出力抵御。于是无可如何,以杨佺期为雍州刺史,桓玄为江州刺史。桓玄是桓温的小儿子。因为桓温在荆州久了,其僚属将士,都归向他。他虽闲住在荆州,其势力,反出于现任官吏之上。所以殷仲堪不得不用他。这时候,既有地盘,殷仲堪、杨佺期,自然非其敌手。先后为其所并。于是上流的权势,又集于桓玄一身。公元四〇二年,荆州大饥。元显乘机出兵,想把桓玄解决。然而所靠的不过一个刘牢之,而刘牢之又倒戈,元显就失败,和其父道子都被杀。桓玄入建康。明年,竟废安帝而自立。
这时候,荆州之兵力,实已非北府之敌。所以桓玄得志之后,便夺去刘牢之的兵权。牢之谋反抗,不成,自杀。而北府兵的势力,实在并未消灭。公元四〇四年,北府兵中旧人,刘裕、刘毅、孟昶(chǎng)、何无忌、诸葛长民等起兵讨桓玄。桓玄的兵,到处皆败。逃至江陵,被杀。安帝复位。刘裕入中央政府,主持大权。于是积年以来,朝廷为荆州所挟持的形势一变。然而军人到底是要互相吞并的。于是相互间之问题,不在北府兵和荆州系,而在北府兵里同时并起的几个人。