Самым древним из сохранившихся гражданских зданий Тотьмы является дом купца Ф.Холодилова, известного морехода и промышленника. В 1747 году Фёдор Холодилов вместе с купцом Трапезниковым создал промысловую компанию, которая снарядила судно «Иоанн» к берегам острова Беринга. Трижды это судно совершало плавание к командорским и Ближним алеутским островам.
Почти 40 лет Ф. Холодилов и его племянник Алексей. Занимались предпринимательской деятельностью. За это время было направлено 7 промысловых экспедиций. Разбогатев на торговле пушниной, Холодилов выстроил прекрасную городскую усадьбу на высоком берегу реки Сухона. Построенный в конце XVIII века, он был главным сооружением большой городской усадьбы. В дальнейшем он перешел в руки казначейства и полицейского управления и подверглась в течение XIX века перестройкам, в результате которых появились стена-ограда и ряд новых пристроек, в том числе церковь Всех Скорбящих Радости, а также квартира смотрителя тюрьмы.
Двухэтажное здание в стиле зрелого классицизма имеет своеобразную композицию. Его главный фасад украшен двумя треугольными фронтонами и крупными пилястрами с пышными капителями. Декоративное богатство фасаду придают различные по форме оконные наличники. Благодаря этому дом Холодилова резко выделяется среди гражданских построек не только Тотьмы, но и Великого Устюга, видимо он был создан кем-либо из столичных мастеров или по их проекту.
