Иероним родился около 1450 года в большой семье потомственных художников. Живописью занимались дед Босха Ян ван Акен, его брат, отец – Антонис ван Акен, который незадолго до своей кончины в 1478 году передал мастерскую сыну Гоосену. Мать происходила из семьи резчика по дереву.