История этого дома длиною почти в два с половиной столетия началась в 1786 году, когда известному зодчему Матвею Федоровичу Казакову поступил заказ на строительство городской усадьбы для князей Гагариных. Впоследствии тут располагался Английский клуб. Во время Отечественной войны 1812 года в усадьбе расположился штаб конницы Наполеона, в составе которой служил интендант Анри-Мари Бейль, более известный под его творческим псевдонимом – Стендаль.