璪字仲宝,袭瓘爵。后东海王越以兰陵益其国,改封江夏郡公,邑八千五百户。怀帝即位,为散骑侍郎。永嘉五年,没于刘聪。元帝以瓘玄孙崇嗣。玠字叔宝,年五岁,风神秀异。祖父瓘曰:“此儿有异于众,顾吾年老,不见其成长耳!”总角乘羊车入市,见者皆以为玉人,观之者倾都。骠骑将军王济,玠之舅也,俊爽有风姿,每见玠,辄叹曰:“珠玉在侧,觉我形秽。”又尝语人曰:“与玠同游,冏若明珠之在侧,朗然照人。”及长,好言玄理。其后多病体羸,母恒禁其语。遇有胜日,亲友时请一言,无不咨嗟,以为入微。琅邪王澄有高名,少所推服,每闻玠言,辄叹息绝倒。故时人为之语曰:“卫玠谈道,平子绝倒。”澄及王玄、王济并有盛名,皆出玠下,世云“王家三子,不如卫家一儿。”玠妻父乐广,有海内重名,议者以为“妇公冰清,女婿玉润。”
辟命屡至,皆不就。久之,为太傅西阁祭酒,拜太子洗马。璪为散骑侍郎,内侍怀帝。玠以天下大乱,欲移家南行。母曰:“我不能舍仲宝去也。”玠启谕深至,为门户大计,母涕泣从之。临别,玠谓兄曰:“在三之义,人之所重。今可谓致身之日,兄其勉之。”乃扶舆母转至江夏。