Первое упоминание о селе Холм относится ко времени Петра I. В упоминании 1708 г. говорится, что в селе Холм имеется церковь, значит, село возникло еще раньше. Холм находился на тракте Дорогобужского большака, идущего из г. Белого. Удаленность от уездного города способствовало тому, что Холм стал быстро превращаться в торгово-экономический центр юго-восточной части уезда. В 1861 г. была создана Холмовская волость и существовала до 1929 г.Название Холм произошло от географического положения села. Холм расположен на самом возвышенном месте в районе. По преданию, село Холм некогда принадлежало помещикам по фамилии Жирковы. На этом основании за селом в народе сохранилось название Жирковский. В1929 г. в Западной области оказалось два районных центра с названием Холм, поэтому наш Холм стал называться двойным именем: официальным — Холм и народным — Жирковский. С конца XVIII в. селом владел дворянский род Уваровых, корни которого уходят в далекий XIV в. к мурзе Минчаку. В первой трети XIX в. сформировался усадебный ансамбль села Холм, частично сохранившийся и поныне. Усадебный дом постройки конца XVIII в. был каменный, двухэтажный, прямоугольный в плане, к нему примыкало два флигеля. Во время Великой Отечественной войны пострадал от бомбежки, флигеля утрачены. Усадебный дом надстроен третьим этажом, пространственная структура и интерьеры изменены. В настоящее время в доме размещается районная больница.
Храм в усадьбе построен в 1802 г. Д.И. Головиной-Уваровой. После ее смерти Холм перешел к сыновьям — Сергею и Федору. С.С. Уваров — президент Академии наук, министр народного просвещения, в 1846 г. возведен в графское достоинство. Современники называли его «выдающимся и ученейшим из людей своего времени». Похоронили бывшего министра в семейном некрополе в усадебной церкви Холма. Судя по документам, в конце ХIХ — начале XX вв. усадьба была прибыльная. Здесь разводили крупный рогатый скот местной и ярославской пород, работали лесопильный и дегтярный заводы, лесные дачи. Накануне Первой мировой войны для вывозки леса была построена Дурово-Канютинская железная ветка. После революции Холм разделил судьбу большинства российских дворянских усадеб. Потомки последнего владельца Холма живут в Англии.
«Холм-Жирковский. История, реальность, перспективы». Смоленск, 2007 г. http://www.nasledie-smolensk.ru/
Из переписной книги Вяземского уезда 1666 года, Жирковская волость: Да что было в поместье за за Богданом Бельским деревня, что было сельцо Кондрата Бородина, Холм тож, у пруда и у речки Соли, а в ней место церковное Великого Чудотворца Николы да придел Иванна Предтеча, пуста от литовского разорения.
РГАДА ф.1209 оп.1 ч.2. дело 10808 переписная книга Вяземского уезда письма и меры Артемия Рчинова да подьячего Федора Леонтьева 174-175 году (1666-1667) дворцовым волостям. л. 646