汉赵刘曜派兵攻打前凉张茂,张茂不敌,被迫称臣。张茂去世后,张骏继王位。张骏自小就长得卓尔不凡,十岁就能写出漂亮的文章。张氏是汉人,心向晋室,晋元帝逝世两年后,消息终于传到张骏这里,他为此痛哭三天,以示哀悼。
张骏不甘于向刘曜称臣,起兵反抗,但终因实力不济再次屈服。后赵消灭了汉赵,张骏趁乱收复了河南土地,把国土向东延伸到了狄道(今甘肃临洮县),然后设立五屯,每屯设一个护军以防备后赵。后赵仿照汉赵的做法,派鸿胪孟毅前来给张骏封官,张骏拒绝,并扣留了孟毅。
张骏勤于政务,处事公道,得到朝野上下的一致拥护,在他的领导下,前凉人民的生活逐渐富裕起来,军队也训练有素,兵强马壮。张骏派将军杨宣发兵西域,攻打龟兹(今新疆车库县)、鄯善(今新疆若羌县)等国。西域各国战败,纷纷到前凉都城姑臧(今甘肃武威市)进贡,送来包括汗血宝马、野牛、孔雀、大象、火浣布在内的各种奇珍异宝两百多种。
张骏在姑臧城南边修建了五座宫殿,大殿居中,名叫谦光殿,用五色彩绘,用金玉装饰,殿内布置奇珍异宝,极其奢华。大殿东面是阳青殿,供春季居住;南面的叫朱阳赤殿,夏季居住;西面的叫政刑白殿,秋季居住;北面的叫玄武黑殿,冬季居住。