Пожелание, вернее, требование построить жилище для покровительницы города девы Альмудены еще в 1518 году высказал папа римский Леон X. Тогдашний правитель Мадрида начал подумывать о строительстве, но, ввязавшись в спор с архиепископом Толедо, отказался от своей затеи, дабы не умалить славу толедского собора. Тем же окончились попытки