В XVI веке при кардинале Джулио Савелли в стенах дворца была собрана богатая коллекция античной скульптуры и проходили встречи литературного салона. Спустя два столетия линия наследования прервалась, и здание в очередной раз сменило хозяев. Сначала им владели Сфорца-Чезарини, позже – Орсини. В память об их присутствии вход во дворец со стороны реки украшают две статуи медведей (фамилию Орсини можно перевести как «Медведевы»).