自杰弗逊在世时便争议不断的一个题材是,他是否为其女奴莎丽·海明斯子女之父?此一说法自1802年起广泛得到公众关注。记者詹姆斯·科连德 (James T. Callender)于里奇蒙的地方报刊中写道,海明斯曾为杰弗逊之“妾室”,长达数年之久,并为杰弗逊生下多名子女。杰弗逊未曾对此作任何公开回应,但其遗嘱中要求予海明斯之两子,艾斯顿(Eston)与麦迪逊·海明斯(Madison Hemings),自由之身。两人后来声称杰弗逊为其生父。
1998年,一项对其去氧核糖核酸的研究,断定海明斯与杰弗逊两个家族间具有DNA上的连结,但无法确证托马斯·杰弗逊本人为海明斯家族之始祖。三项研究成果于2000年代初期发布,并公开出版。在蒙地沙罗运作的托马斯·杰弗逊基金会(Thomas Jefferson Foundation)声明“不太可能是…杰弗逊家族内的其他人,而非托马斯·杰弗逊本人,为海明斯子女之父”。托马斯·杰弗逊遗产协会(Thomas Jefferson Heritage Society)下属一个研究委员会,由13名独立成员所组成的学者委员会领导,断言,以杰弗逊本人为其始祖的理论站不住脚。《全国宗谱协会季刊》 (National Genealogical Society Quarterly)稍后发文评论,莎丽·海明斯与托马斯·杰弗逊两人间的的关系证据确凿。
杰弗逊最广为引述的警句“管得最少,就是最好的政府”。("That government is best which governs least")其实根本不是出自杰弗逊。而出于亨利·大卫·梭罗对于公民抵抗的说法,自其合众国期刊与民主评论(The United States Magazine and Democratic Review)警句“最好的政府是管得最少的”(“The best government is that which governs least.”)改写而成。