Участок нынешнего дома номер 4 в 1784 году был пожалован статс-секретарю П.А. Соймонову, но тот вскоре отказался от такого подарка императрицы. Одна из причин отказа связана с тем, что дар этот был обусловлен требованием застроить участок в течение пяти лет, иначе земля будет отобрана в казну. Вскоре этот участок приобрёл купец Ф.И. Гротен. По его заказу зодчий Джакомо Кваренги в 1784–1788 годах возвёл дом, в основном сохранивший свой внешний облик до наших дней.

      Главный фасад дома Гротена Кваренги обратил на Дворцовую набережную. В 1790 году Гротен продал здание знатному петербуржцу Т.Т. Сиверсу, который в свою очередь перепродал дом княгине Е.П. Барятинской. Урожденная принцесса Гольштейн-Бекская Е.П. Барятинская и её муж князь И.С. Барятинский входили в круг верхушки петербургского аристократического общества. Князь Барятинский в своё время был ординарцем Елизаветы Петровны, флигель-адъютантом Петра III, генерал-поручиком при Екатерине II, а затем на протяжении двенадцати лет являлся российским послом во Франции.

      Но Барятинские недолго владели этим домом. В газете «Санкт-Петербургские ведомости» за 1 февраля 1796 года было помещено объявление: «Состоящий близ Летнего саду дом княгини Катерины Петровны Барятинской отдается в наем…» Через два дня дом Барятинской купила Екатерина II и подарила графу Николаю Ивановичу Салтыкову. По официальной версии, подарок был сделан в благодарность за воспитание своего любимого внука великого князя Константина Павловича.

      Потомки Салтыкова владели домом до 1917 года, однако они не проживали в нём, а сдавали в аренду. В течение 90 лет в здании размещались иностранные посольства. В 1829–1855 годах в доме размещалось австрийское посольство во главе с графом К.Л. Фикельмоном. С 1855 года третий и четвертый этажи занимал посол Дании. С 1863 по 1918 год в здании размещалось посольство Великобритании. После революции в доме Салтыковых размещались различные учреждения, а в 1925 году здесь открылся Коммунистический