Главный дом усадьбы Голицыных был построен Матвеем Казаковым. Причем казаковский фасад сохранился встроенным в классическое здание советского учреждения. Два этажа в центре с изящным балконом – XVIII века, пристройки по бокам и сверху – уже XX столетие. В 1775 году Екатерина Великая собиралась надолго в Москву, но оказалось, что ни одного императорского дворца для проживания императрицы с придворными нет! Что-то сильно обветшало и устарело, другие здания были в процессе строительства. В результате для императрицы приготовили усадьбу Голицыных. Главный дом соединили деревянными переходами с еще двумя усадьбами – Лопухиных сбоку (Малый Знаменский пер., 3/5, стр. 4) и Долгоруких сзади (Большой Знаменский пер., 2, стр. 3).