Территория гарема, которая была очень небольшой при султане Мехмеде Фатихе, или Завоевателе, стала расширяться при других султанах. К сожалению, этот обширный гарем был уничтожен большим пожаром в 1665 году. Он был восстановлен, но век спустя землетрясение в Стамбуле разрушило это уникальное архитектурное сооружение. Однако оно было снова восстановлено и дополнялось другими постройками вплоть до Махмуда II.