Чаще всего ятрофобия является иррациональным, навязчивым страхом. Однако боязнь врачей может быть связана с негативными эмоциями, причиной которых прямо или косвенно стал врач. Источником этих негативных эмоций может стать собственный опыт общения с врачом, врачебная ошибка, а также информация о врачебных ошибках, полученная из посторонних источников (публикаций в СМИ, рассказов знакомых и т. п.).
