Дворец является главным сооружением в загородной усадьбе графа Петра Борисовича Шереметева в Кускове. Современники называли его «Большой дом». Здание строилось 1769—1775 годы. Имя главного архитектора остаётся неизвестным. Основное предназначение дворца — приём и расположение гостей в летнее время.
Дворец построен из дерева, имеет два этажа и каменный цоколь, где были расположены хозяйственные помещения и погреба. Летний дворец графа П. Б. Шереметева — редкий образец загородного дома, полностью сохранившего до наших дней архитектурно-пространственное решение, а также подлинные элементы интерьеров: дощатые полы, печи и камины; декоративную живопись, резьбу по дереву и лепнину из папье-маше; зеркала и осветительные приборы. Архитектура дворца в Кускове является примером раннего русского классицизма. такой стиль был присущ большинству загородных домов XVIII века.
Фронтон дворца украшен величественными колоннами и пышной резьбой. К парадному входу дворца ведёт белокаменная лестница и пологие пандусы — спуски для въезда карет. Пандусы фланкируют фигуры сфинксов — фантастических существ с женскими головами и львиными туловищами.
В 1976—1983 гг. происходила комплексная реставрация дворцовых помещений. Все интерьеры воссоздавались по описаниям конца XVIII века.
И сегодня дворец является главным местом музея-заповедника. Он открыт для посещения.
