小漢斯·霍爾拜因大約在1497年出生于德國南部的奧格斯堡。關于他的出生沒有確切記錄，上述年代是根據晚年的一些片斷性的證據來推定的。1511年記載他為十四歲（即1496年或1497年出生），而在1543年畫的肖像畫上寫著四十五歲（即1497或1498年出生）。如果上述數據準確無誤的話，他就是1497年出生的。 他的藝術才能繼承于他的父親大漢斯。其父大漢斯、叔父杰克蒙多、哥哥安布羅西烏斯均為畫家。祖父或外祖父中有一位是金匠，小漢斯的兩個兒子后來也從事了這項職業(yè)。對于杰克蒙多我們一無所知，但大漢斯在當時卻是德國南部的一流畫家之一。年長三歲的哥哥安布羅烏斯也在相當的繪畫才能，不過他可能是在剛剛建立起畫家的地位時便英年早逝。