Скит располагался в глубине монастырского леса к западу от самого монастыря. Поблизости от родника были устроены первые келии настоятеля и братии. Над родником была поставлена деревянная часовня. В 1856 году архимандрит Гедеон получил разрешение на строительство в скиту каменной часовни взамен деревянной. В процессе строительства архимандрит Гедеон, по проекту которого строилась часовня, попросил разрешение пристроить алтарь. Разрешение было получено, и в 1860 году храм Всех Святых в скиту был уже освящён. Западная его паперть служила одновременно сенью над Иосифовым родником. Деревянные келии были заменены каменными, а территория скита обнесена каменной оградой с башнями по четырём углам и звонницей над воротами.
В начале ХХ века в скиту было возведено двухэтажное здание больницы. В настоящее время сохранились основные постройки скита, которые до 2009 года занимала Теряевская сельская больница. Ограда была разобрана, а храм превращён в котельную. Начинаются работы по восстановлению сооружений Всехсвятского скита.
По материалам сайта Иосифо-Волоцкого монастыря.
