Но Гарлем не всегда был черным районом. Сначала здесь стояла обычная голландская деревня, вошедшая в состав Нью-Йорка лишь в 1660 году. До середины XIX века на месте современного Гарлема были поля, луга и фермы, принадлежавшие нью-йоркской знати, которая добиралась сюда из Нижнего Манхэттена полтора часа на пароходе. Когда в конце XIX века в Гарлеме началось строительство особняков и многоквартирных домов, он пользовался репутацией престижного района: здесь были поля для игры в поло, свой оперный театр, и со дня на день должны были запустить прямую линию метро. Главные архитектурные жемчужины Гарлема относятся именно к тому времени: row houses («дома в строчку») в районе парка Маунт Моррис (Mount Morris Park – сейчас он известен как парк Маркуса Гарви (Marcus Garvey park), построенные по проекту архитектора Вильяма Татхилла (William Tuthill), архитектора концертного зала Карнеги-Холл; дома по Эджком-авеню (Edgecombe Avenue), особенно роскошный № 409, где жили самые влиятельные афроамериканцы начала века, плюс масса просто интересных и необычных зданий.