Война еще не закончилась, как граф, происходивший из знатной и очень богатой польской семьи, женился на Екатерине Ксаверьевне Сангушко (1781–1820), родной сестре Елизаветы (Элиз) Ксаверьевне Браницкой, супруги графа М.С. Воронцова, в которую был влюблен Пушкин. Молодой поэт бывал на вечерах, устраиваемых в доме. По воспоминаниям А.О. Смирновой-Россет: «…На вечерах были швейцары со шпагами, официантов можно было принять за светских франтов, ливрейные лакеи были только в большой прихожей, омеблированной как салон: было зеркало, стояли кресла <…>. Все это на английскую ногу…».