На нынешнем месте расположения следственного изолятора в 1775 году был основан смирительный дом для «предерзостных», который находился в ведении Общества призрения.
В 1870 году смирительный дом был переименован в «Московскую исправительную тюрьму» на 300 мужчин и 150 женщин. В 1912 году по проекту архитектора Б. А. Альберти были возведены тюремные здания.
В 1918 году на базе тюрьмы был создан «Реформаторий» для несовершеннолетних, затем — «Кожевническая исправительная колония»; с 1946 по 1956 годы здание наименовалось «Тюрьма № 14 Управления МВД по Московской области»; с 1956 года — «СИЗО № 1 ГУВД г. Москвы».
Первоначально здание тюрьмы имело два режимных корпуса, вмещавших более 2000 заключённых. В 1949 году число режимных корпусов увеличилось до трёх. В 1949—1953 годах в 3-м корпусе размещалась спецтюрьма, где содержались нацистские преступники, а также заключённые, работавшие в Особом техническом бюро МВД СССР. В 1953—1997 годах в этом корпусе содержались несовершеннолетние, с 1999 года — туберкулёзное отделение.
С 1997 года СИЗО № 1 подчинялся Главному управлению исполнения наказаний (ГУИН) Министерства юстиции РФ. На тот момент в нём содержались до 5000 заключённых, находящихся под следствием или ожидающих вступления приговора в законную силу.
Тюрьма была преобразована из детской воспитательной колонии в 1945 году. Начало функционирования в полном объёме — 1946 год.
С конца XIX века на территории современного следственного изолятора № 1 «Матросская тишина» действовал храм, но был разрушен большевиками. 16 ноября 2018 года Патриарх Московский и всея Руси Кирилл освятил закладной камень в основании нового храма на этом месте. Храм будет освящён в честь иконы Божией Матери «Всех скорбящих радость». Предстоятель Русской православной церкви (РПЦ) также поручил главе Синодального отдела по тюремному служению РПЦ епископу Иринарху подготовить предложения по развитию деятельности церкви в тюрьме.
«Исправительная система имеет целью прежде всего исправить человека. Просто ограничение свободы, пониженный рацион питания, ограниченная возможность вдыхать свежий воздух не всегда способны исправить человека. Эти внешние факторы воздействия на человеческую психику, на человеческую природу не всегда могут разрешиться благополучным исходом, в том смысле, чтобы человек действительно под влиянием этих трудных обстоятельств жизни исправился. Глубоко убеждён в том, что нет другой возможности исправить человека, преступника, в первую очередь не исправляя его душу».
— Кирилл, Патриарх Московский и всея Руси. 16 ноября 2018 года.
В 1985 году на территории изолятора был создан СИЗО «ИЗ-48/4» («Кремлёвский централ»), первоначально для содержания обвиняемых по «Узбекскому делу». В 1994 году он был переведён на территорию СИЗО «Лефортово», но в 1997 году был возвращён обратно.
