关于赵高的身世,历来众说纷纭。清人赵翼在《除余丛考》卷四十一《赵高志在复仇》中曰:“高本赵诸公子,痛其国为秦所灭,誓欲报仇……卒至杀秦子孙而亡其天下。则高以勾践事吴之心,为张良报韩之举,此又世论所及者了。”他自称,这种观念出自《史记索引》,得到许多人的公认,郭沫若先生主编的《中国史稿》第二册“秦末社会矛盾的激化”章节中就这个观点指出:“赵高原是赵国远支宗室的后代,因其父犯罪被处宫刑,当了宦官……骗取了秦始皇的信任。”其实这种看法没能很好理解《史记》中所说的“生隐宫”。在今本《史记》三家注中有一段“索引”的记载说“盖其父犯宫刑”,指出并非是赵翼认为的“自宫以进”,以苦肉计进行报仇。另外,还有一种较新鲜的说法,认为赵高不是“宫人”,因为京剧传统剧目《宇宙锋》中有赵高逼自己的女儿嫁给二世这一出。
因此,有人认为赵翼的观点本意只不过是为了故作惊人之论,因为今本《史记》三家注中“索引”部分,并无这种内容。就算赵翼真见了什么“孤本秘籍”,此说也很难令人信服,因为这说法和《史记》原文大相径庭,而“索引”是唐人司马贞所作,其史料价值不能与《史记》并论。《史记·蒙恬列传》原文说赵高为“诸赵疏远属也”,并不是“赵诸公子”。因为“诸赵”一语,犹《史记》、《汉书》中常用“诸吕”、“诸窦”,“赵”乃姓氏,并非国名。而“诸赵”实际上指的是秦国王室。《史记》中记载得很明确:“太史公曰:‘秦之先为嬴姓……然秦以其先造父封赵城,为赵氏。’”《史记·秦始皇本纪》也指出:“秦始皇及生,名为政,姓赵氏。”可见,所谓“诸赵疏远属也”乃指赵高是秦王室宗室,因而所谓“赵高乃赵诸公子,痛其国为秦所灭,誓欲报仇”之说是不能成立的。