Строительство монастыря началось весной 1900 года по проекту архитектора Никонова, который был рассмотрен и утвержден императором Николаем II, на небольшом участке земли, пожертвованном отцу Иоанну купцом Симеоном Раменским. Батюшка с большим вниманием следил за ходом работ. Святыми молитвами, благословением, заботами и трудами старался как можно лучше обустроить обитель. Первоначально отец Иоанн Ильич Сергиев предполагал устроить здесь новое подворье Сурского Иоанно-Богословского женского монастыря, основанного отцом Иоанном на родине, в Архангельской губернии, но с помощью Божией монастырь оказался слишком значительной постройкой в городе, чтобы ему оставаться просто подворьем. По ходатайству о. Иоанна в 1903 году подворье стало самостоятельным монастырем. Он был назван Иоанновским в честь Небесного покровителя Батюшки – преподобного Иоанна Рыльского, во имя которого был заложен первый храм Обители в нижнем этаже здания. Отец Иоанн освятил его 17 декабря 1901 года. Со дня освящения малого храма в нем ежедневно совершалось богослужение.
Небывалая любовь народа за добро и помощь, его огненная вера и забота о духовном облике Обители привлекли мощную поддержку и пожертвования, и всего год спустя был освящен главный престол собора во имя Собора Двенадцати Апостолов с двумя приделами. Правый – в честь Казанской иконы Божией Матери, а левый – во имя святителя Андрея Критского и преподобной Марии Египетской, освященные в 1903 году при участии отца Иоанна. Храм венчали пять мозаичных куполов с золочеными крестами, а на его западной стороне возвышалась колокольня. Пламенной молитвой благословил Батюшка монастырь: «Благодарю Господа за радость освящения своего великолепного храма, который Он дал мне устроить и украсить в столице России – Петербурге. Как бы чудом каким явился он на берегу реки Карповки – притоке царственной и великолепной Невы-реки.
Загодя, в 1904 г., о. Иоанн получил разрешение быть похороненным в Иоанновской обители. По желанию о. Иоанна в крипте был устроен храм во имя пророка Илии и царицы Феодоры, небесных покровителей родителей Всероссийского пастыря. Он почил в Боге 20 декабря/2 января 1908 г. и был через три дня погребен в крипте-усыпальнице. Отпевали о. Иоанна митрополит Антоний в сослужении трех епископов, 60 священников и 20 диаконов. Его похороны были самыми многочисленными в те годы.
Подземная церковь-усыпальница, освященная 21 декабря митрополитом Антонием, отличалась богатством отделки в русско-византийском стиле, средства на которую пожертвовала послушница Анна Яковлевна Лежоева, впоследствии казначея монахиня Иоанна (1869-1939). Иконостас, стены и пол были облицованы плитами белого мрамора. Мощи св. прав. Иоанна покоились клиросом под массивной мраморной плитой. На ней был изображен крест, лежало Святое Евангелие. У гробницы находился образ прп. Иоанна Рыльского (академик живописи Н.П. Шаховской, 1911 г., утрачен) с неугасимой лампадой в виде митры. Бывший мраморный одноярусный иконостас теперь восстановлен в дереве.
12 июля 1991 года по окончании восстановительных работ Святейший Патриарх Алексий II освятил главный престол собора во имя Двенадцати апостолов и 6 ноября – правый придел во имя св. прав. Иоанна Кронштадтского
