Часовня возведена в память о стоявшем на Арбатской площади храме Бориса и Глеба, известном с 1483 года. Каменная церковь на этом месте была выстроена по повелению великого князя Василия Ивановича. В XVI веке храм имел особое значение, и по предположениям, даже считался собором; Иван Грозный отправлялся в него на моление крестным ходом из Кремля перед началом военных походов.
В XVIII веке храм был полностью снесен и перестроен в 1763 — 1768 годах по проекту К.И. Бланка. Познее он поновлялся, к нему были добавлены приделы.
В 1930 году, несмотря на протесты верующих и архитекторов-реставраторов, отмечавших, что храм является «памятником XVIII века выдающегося историко-архитектурного значения», здание было снесено, однако архитектор-реставратор Б.Н. Засыпкин и студенты Московского университета успели провести обмеры разрушаемого памятника.
В 1997 году, по инициативе Фонда единства православных народов, в память о Борисоглебском храме был возведен памятный храм-часовня Бориса и Глеба. Его архитектура частично повторяет формы утраченного здания.
Храм-часовня возведен не на месте разрушенной церкви, а несколько в стороне, на месте церкви Тихона Амафунтского, также снесенной в 1930-х годах. В память о ней в храме-часовне устроен придел во имя Тихона Амафунтского. На самом же месте Борисоглебской церкви установлен памятный знак с ее барельефным изображением.
Храм-часовню освятил 6 августа 1997 года Патриарх Московский и Всея Руси Алексий II.
