Музей русской иконы создан по инициативе предпринимателя и мецената Михаила Абрамова. Открытие музея состоялось в мае 2006 года. Первоначально Музей русской иконы размещался в одном из залов бизнес-центра «Верейская плаза» на западе Москвы. Параллельно шла активная работа по реконструкции и подготовке основного здания музея.
Реконструкция переданного музею здания в центре Москвы, на Гончарной улице закончилась в 2010 году; два доходных дома, прежде находившихся в аварийном состоянии, были укреплены, полностью отреставрированы и превращены в современный музейный комплекс, объединённый стеклянным атриумом. Новое здание музея было торжественно открыто 25 января 2011 года. Церемонию открытия возглавил министр культуры Российской Федерации Александр Авдеев. С открытием нового здания Музей расширился не только экспозиционными залами, но и помещениями для хранения памятников, их научного изучения, каталогизации, реставрации, технико-технологического исследования, что обусловило создание специальной реставрационной мастерской и научно-каталогизационных отделов.
С момента своего открытия Музей русской иконы заслужил широкое общественное и профессиональное признание. К примеру, Музей русской иконы стал первым русским частным собранием, принятым в Международный совет музеев при ЮНЕСКО .
