武帝受禅，以佐命之勋，进号中军将军，加散骑常侍，改封郡公，邑三千户。固让封不受，乃进本爵为侯，置郎中令，备九官之职，加夫人印绶。泰始初，诏曰：“夫总齐机衡，允厘六职，朝政之本也。祜执德清劭，忠亮纯茂，经纬文武，謇謇正直，虽处腹心之任，而不总枢机之重，非垂拱无为委任责成之意也。其以祜为尚书右仆射、卫将军，给本营兵。”时王佑、贾充、裴秀皆前朝名望，祜每让，不处其右。
帝将有灭吴之志，以祜为都督荆州诸军事、假节，散骑常侍、卫将军如故。祜率营兵出镇南夏，开设庠序，绥怀远近，甚得江汉之心。与吴人开布大信，降者欲去皆听之。时长吏丧官，后人恶之，多毁坏旧府，祜以死生有命，非由居室，书下征镇，普加禁断。吴石城守去襄阳七百余里，每为边害，祜患之，竟以诡计令吴罢守。于是戍逻减半，分以垦田八百余顷，大获其利。祜之始至也，军无百日之粮，及至季年，有十年之积。诏罢江北都督，置南中郎将，以所统诸军在汉东江夏者皆以益祜。在军常轻裘缓带，身不被甲，铃閤之下，侍卫者不过十数人，而颇以畋渔废政。尝欲夜出，军司徐胤执棨当营门曰：“将军都督万里，安可轻脱！将军之安危，亦国家之安危也。胤今日若死，此门乃开耳。”祜改容谢之，此后稀出矣。
