武帝受禅,以佐命之勋,进号中军将军,加散骑常侍,改封郡公,邑三千户。固让封不受,乃进本爵为侯,置郎中令,备九官之职,加夫人印绶。泰始初,诏曰:“夫总齐机衡,允厘六职,朝政之本也。祜执德清劭,忠亮纯茂,经纬文武,謇謇正直,虽处腹心之任,而不总枢机之重,非垂拱无为委任责成之意也。其以祜为尚书右仆射、卫将军,给本营兵。”时王佑、贾充、裴秀皆前朝名望,祜每让,不处其右。
帝将有灭吴之志,以祜为都督荆州诸军事、假节,散骑常侍、卫将军如故。祜率营兵出镇南夏,开设庠序,绥怀远近,甚得江汉之心。与吴人开布大信,降者欲去皆听之。时长吏丧官,后人恶之,多毁坏旧府,祜以死生有命,非由居室,书下征镇,普加禁断。吴石城守去襄阳七百余里,每为边害,祜患之,竟以诡计令吴罢守。于是戍逻减半,分以垦田八百余顷,大获其利。祜之始至也,军无百日之粮,及至季年,有十年之积。诏罢江北都督,置南中郎将,以所统诸军在汉东江夏者皆以益祜。在军常轻裘缓带,身不被甲,铃閤之下,侍卫者不过十数人,而颇以畋渔废政。尝欲夜出,军司徐胤执棨当营门曰:“将军都督万里,安可轻脱!将军之安危,亦国家之安危也。胤今日若死,此门乃开耳。”祜改容谢之,此后稀出矣。