Дом построен в Шаморжинской обители специально для московского предпринимателя и благотворителя С. В. Перлова (1836-1910), в котором он останавливался с семьей, приезжая в монастырь.
Сергей Васильевич и его супруга Анна Яковлевна были духовными чадами прп. Амвросия и благотворителями обители. На их средства созданы практически все фундаментальные монастырские постройки, устроены мастерские: иконописная, чеканная, золочения по металлу и дереву, золотошвейная, переплетная, ковровая, швейная, также типография и фотомастерская. Сергей Васильевич похоронен по его завещанию в обители, рядом с могилами настоятельниц за алтарем Казанского собора. Анна Яковлевна после его смерти жила в Москве, часто приезжая в Шамордино с детьми и внуками. Перед смертью (1919 г.) приняла постриг с именем Амвросия.
В настоящее время дом Перловых восстановлен и используется для монастырских нужд.