Буйский краеведческий музей был открыт в 1946 году. Его создание связано с именем Павла Михайловича Друлиса. Павел Михайлович Друлис, работавший лесным кондуктором в лесничестве, стал первым членом от Буйского уезда в Костромском научном обществе по изучению местного края. Много путешествуя по уезду, он записывал местные легенды, собирал предметы крестьянского быта, археологические находки, старинные монеты.
В 1922 году в Буе создается уже самостоятельное отделение Костромское научное общество по изучению местного края. После того, как костромское руководство КНОИМК подверглось репрессиям, общество распалось, однако, краеведы продолжали вести научную работу. Официально общество краеведов в Буе было вновь зарегистрировано лишь 18 февраля 1940 года. Осенью того же года было отведено помещение для музея в Буе. Сюда были свезены материалы, собранные братьями Друлис, Павлом Михайловичем. В годы Великой Отечественной войны музей был закрыт, а помещение передано под интендантский склад. Часть экспонатов краеведы разобрали по домам, но основная часть оставалась в помещениях склада. Когда наступило мирное время, краеведы города вновь вернулись к идее создания музея в Буе. Наибольшую активность в этом вопросе проявил П. М. Друлис.
Открытие музея состоялось 20 марта 1946 года в соответствии с решением исполкома городского совета депутатов трудящихся. Штат музея первоначально состоял из двух человек. В феврале 1950 года были открыты первые экспозиции музея. Первоначально вход был бесплатный. Первым директором музея стал Павел Михайлович Друлис. Будучи директором, он также выполнял работу научного сотрудника, смотрителя, истопника, дворника, уборщика помещений. П. М. Друлис проработал в музее до сентября 1953 года. Его сменил Матвей Иванович Матасов. В 1966 г. удалось расширить площади музея и постепенно провести капитальный ремонт. В июне 1973 года новым директором музея была назначена Тамара Васильевна Ольховик. Она возглавила музей уже будучи на пенсии, проработала в нем 25 лет. Ко времени её прихода в музей экспозиции давно не менялись, обветшали. За период руководства Т. В. Ольховик экспозиционные площади были расширены, сделаны пристройки во внутреннем дворе музея. В течение пяти с половиной лет в музее велся капитальный ремонт.
В 1978 году Буйский музей был преобразован в филиал Костромского объединенного историко-архитектурного музея-заповедника. 24 февраля 1978 года Буйский горком КПСС и исполком городского Совета народных депутатов, обращаясь в Областное управление культуры, подчеркивали, что профиль Буйского музея целесообразно определить как историко-краеведческий. Под руководством Т. В. Ольховик сотрудники музея осуществляли исследовательскую работу. Делались запросы в различные архивы страны, велась переписка с краеведами с целью выявления материалов о жителях Буя, оставивших заметный след в истории. В 1997 году администрация г. Буя и Буйская городская дума передали музею отремонтированное соседнее здание бывшего Сбербанка, построенное в начале XX века.
Сегодня Буйский краеведческий музей им. Т. В. Ольховик, это большой комплекс, объединяющий два здания с пристройкой, где находятся основные экспозиции, выставочные залы, гостиная и фонды, в которых хранятся, изучаются предметы. Буевляне и гости города имеют прекрасную возможность совершать исторические экскурсы в прошлое края.