В 1780-е российская императрица Екатерина II начала выделять именитым царедворцам землю у реки Невы между Лебяжьим каналом и запасным корпусом Мраморного дворца. Первый участок, у самого Летнего сада, был отдан И.И. Бецкому. В 1784 грду следующий за ним участок между Дворцовой набережной и Царицыным лугом был выделен статс-секретарю Петру Соймонову, однако вельможа отказался от обустройства переданного участка — по всей видимости, дар сопровождался обязательством хозяина земли застроить её в течение пяти лет, при невыполнении которого участок возвращался в казну.
Следующим владельцем земли оказался купец Ф. И. Гротен, для которого и был возведён по проекту Джакомо Кваренги особняк, внешний вид которого дошёл до современности с небольшими изменениями. Проектируя дом, Кваренги столкнулся с необходимостью решить немаловажную планировочную задачу — ему предстояло определить, на какую сторону должен быть обращён парадный фасад здания. Итальянский архитектор принял решение ориентировать строение на север, на Дворцовую набережную, так как остальные стороны оказались непригодны для оформления парадного фасада: с юга участок Гротена выходил на неблагоустроенный Царицын луг и ворота дома Бецкого, а на западе, со стороны нынешней Суворовской площади, проходила граница владений А.Р. Воронцова, который, тем не менее, впоследствии избавился от земли в этой местности. Здание выходило на Царицын луг двумя этажами, к Неве — тремя, причём и от реки, и от луга оно было отгорожено забором. К западу от особняка был разбит сад, доходивший до запасного корпуса Мраморного дворца. Западный фасад был «глухим» — окон на нём не имелось, так как при строительстве дома предполагалось, что впритык к нему будет построено другое здание.
В июле 1790 года именитый петербургский гражданин Т. Т. Сиверс приобретает особняк у Гротена за 30 000 рублей — за сумму, очевидно, превышавшую стоимость строительства и обустройства здания. В марте 1793 года Сиверс проворачивает весьма выгодную сделку, продав дом уже 82 875 рублей княгине Екатерине Петровне Барятинской, в девичестве — принцесса Голштейн-Бекская. Вместе с мужем, князем Иваном Сергеевичем Барятинским, видным русским дипломатом и государственным деятелем екатерининской эпохи, семейство принадлежало к числу наиболее знатных в столице. Через три года, в 1796 году княгиня начала сдавать квартиры в доме в наём. Несмотря на данное 1 февраля объявление в Санкт-Петербургских ведомостях, Состоящий близ Летнего саду дом княгини Катерины Петровны Барятинской отдается в наем, съёмное жильё в доме не пользовалось спросом среди потенциальных квартиросъёмщиков, в связи с распространившейся по городу легенде о том, что в особняке якобы ходят призрак Петра I и какая-то молодая особа, причём император ругает её, не стесняясь в выражениях. Объявление в газете было замечено при дворе, и спустя два дня, 3 февраля 1796 года, особняк был выкуплен в казну и подарен видному российскому государственному и российскому деятелю, фельдмаршалу Николаю Ивановичу Салтыкову за заслуги в воспитании любимого Екатериной II внука, великого князя Константина Павловича.
В гостях у него неоднократно бывалА.В
Суворов. Летом 1812 года в этом доме, в кабинете президента Военной коллегии фельдмаршала Н. И. Салтыкова, главнокомандующим русской армией был выбран М.И.Кутузов.
Изначально здание имело три этажа со стороны Невы и два со стороны Марсова поля. Так как при строительстве дома предполагалось, что рядом с ним со стороны Мраморного дворца со временем будет построено другое здание «впритык» к нему,то западный фасад дома не имел окон и выходил на сад, занимавший всё пространство до служебного корпуса Мраморного дворца и отделённый от Царицыного луга и берега Невы забором. Но в 1818 году по проекту К.И. Росси на месте сада была создана Суворовская площадь и выходящий на неё фасад был переделан. В 1818-23 годах в особняке были перестроены парадная лестница и вестибюль, создана домовая церковь, надстроены дворовые флигели.
Потомки Салтыкова обладали правами собственности на дом до 1917 года, однако они не проживали в нём, а сдавали в аренду. В течение 90 лет в здании размещались иноземные посольства. В 1829—55 годах в доме размещалось австрийское посольство во главе с графом К.Л. Фикельмоном. С 1855 года третий и четвёртый этаж занимал барон Отто Плессен — посол Дании. С 1863 по 1918 годы здание снимало британское посольство.
После Октябрьской революции в здании работал Институт внешкольного образования, а с 1925 года в доме открылся Коммунистический политико-просветительский институт имени Н. К. Крупской, впоследствии Ленинградский Библиотечный институт, Санкт-Петербургский государственный университет культуры и искусств. С соседним домом Бецкого, который с 1960-х годов также принадлежит университету, он соединён внутренними переходами.
