Этот павильон возводился на берегу Итальянского пруда в период с 1756 по 1761 годы. Известно, что до него на этом же месте располагался старый деревянный грот, однако, его чертежи или изображения не сохранились.
Вторым важным этапом строительства нового сооружения стало оформление внутреннего убранства помещений, зала и двух кабинетов. На сегодняшний день грот является единственным в России павильоном, сохранившим свою уникальную «гротическую» отделку с XVIII века, он считается самым экзотическим среди архитектурных сооружений Кускова.
Автором проекта грота в Кускове стал крепостной зодчий Фёдор Семёнович Аргунов. По окончании строительства грота в 1761 году владелец Кускова Пётр Борисович Шереметев пригласил для его оформления немецкого специалиста Иоганна Фохта. На протяжении последующих 15 лет мастер осуществлял работы по планомерной отделке помещений.
Основные работы были закончены к 1775 году. Оформление интерьеров Грота — зала и двух кабинетов — столь же декоративно и выразительно, как и решение его фасадов. Невысокая, до подоконника, панель центрального зала служит пьедесталом для восьми пар колонн с золочёными базами и капителями, уводя взгляд через мощный карниз к тягам свода купола и далее в прорыв светового фонарика. Размещение в нишах деревянных и глиняных кукол в половину человеческого роста, убранных морскими и речными раковинами, купленными графом Шереметевым в специально для внутренней отделки Грота, «оживляет» нарядные кабинеты. Ракушечная скульптура, воспринимаемая в России как раритет, представляет собой уникальные произведения западноевропейских мастеров ХVIII века.
В том же 1775 году усадьбу посетила императрица Екатерина II. Примечательно, что торжественный ужин был дан именно в новом гроте. Таким образом, подчёркивалась значимость и красота этого места. Известно и о других членах царской семьи, неоднократно посещавших шереметевский грот. Так, например, в мае 1886 года сюда приезжал Александр III со своим семейством.
Грот, сохранившийся по сегодняшний день, стал последним аккордом оформления ландшафтного парка в этой части сада Кусково. Данное строение отлично вписалось в единый архитектурный ансамбль и стало частью общей истории усадьбы.