Дом был построен в 1852 году, а в 1862 году приобретён уроженцем Перми, вышедшим в отставку чиновником Министерства финансов П. Д. Дягилевым (1808—1883) – дедом С. П. Дягилева. Он перестроил дом по проекту губернского архитектора Р. И. Карвовского в духе позднего русского классицизма.
На протяжении трёх десятилетий дом принадлежал большой и дружной семье Дягилевых. В доме, названном современниками «Пермскими Афинами», по четвергам собиралась городская интеллигенция. Здесь музицировали, пели, разыгрывали домашние спектакли.
В 1880-е гг. в доме жила семья Павла Павловича Дягилева (отца С. П. Дягилева), переехавшего в Пермь из Санкт-Петербурга.
Духовная атмосфера дома, культ страстного поклонения перед искусством способствовали формированию творческой личности Сергея Дягилева – будущего реформатора театра, организатора содружества молодых художников «Мир Искусства», триумфальных «Русских сезонов» в Париже и антрепризы «Русский балет Дягилева». Мальчик получил хорошее музыкальное образование, принимал активное участие в концертах дома и в гимназии. В 1891 году здание было выкуплено городским обществом и Пермским уездным земством (после переезда семьи Дягилевых в Санкт-Петербург). С 19 мая 1893 года по 19 мая 1894 года в здании располагалось Пермское отделение Государственного банка.
С 1925 года здесь разместилась школа No 21, с 1926–1927 гг. преобразованная в школу No 11. С 1992 года школа No 11 называется гимназией им. С. П. Дягилева.
Музей, составляющий с гимназией единый комплекс, располагает уникальными коллекциями. В его собрании представлены: документальные материалы и фотографии пермского периода семьи Дягилевых; предметы усадебного быта из летних имений Дягилевых в Пермской губернии; фотография 1924 г., на которой импресарио, запечатлен вместе с известным французским художником и драматургом Ж. Кокто; часть личного архива, книги и театральные костюмы Ю. Зорича – танцовщика созданной С. П. Дягилевым труппы «Русский балет в Монте-Карло».
В 2007 году в концертном зале Дома Дягилева был установлен памятник С. П. Дягилеву работы скульптора Эрнста Неизвестного.
19 августа 2013 года в День памяти великого импресарио состоялась торжественное открытие обновленного памятного панно, расположенного на родовом доме семьи Дягилевых. Мероприятие прошло в рамках реализации проекта «Вторая жизнь памятника».
