Количество расквартированных в Сувалках российских военнослужащих в 1851 году достигло тысячи, примерно через полвека, в преддверии Первой Мировой войны, оно возросло до почти десяти тысяч.
Церковь для русского воинского гарнизона была построена по типичному проекту военного ведомства. По аналогичному проекту были построены гарнизонные церкви в Двинске (Даугавпилсе) https://sobory.ru/article/?object=10050 и Гродно https://sobory.ru/article/?object=03897. По некоторым сведениям, данный проект был разработан в инженерном управлении Виленского военного округа. Автором проекта был архитектор М. Позаров. Конструктивно храм несколько схож с более массовым проектом полковой церкви, разработанным в 1901 г. военным инженером Ф.М. Вержбицким, поэтому последнему иногда также приписывают авторство (предположительно).
В пригороде Сувалок для 5-й стрелковой бригады в марте 1904 года состоялась закладка аналогичной церкви. Торжественное освящение храма было совершено 8 сентября 1907 года. Церковь была построена в виде трехнефной базилики. Над алтарём находились пять маленьких главок, а над главным входом возвышалась трехъярусная колокольня с девятью колоколами, отлитыми на заводе в Ярославе. По углам храм был фланкирован четыремя шатровыми завершениями, увенчанными луковичнымии главками с крестами. Со сторону главного входа имелись три входа, каждый с отдельной лестницей. Со стороны боковых фасадов также имелись портики. Внутри свод церкви поддерживали два ряда колонн. Церковь была покрыта цинковым листом, а её стены были окрашены в белый цвет, карнизы были выкрашены в зелёный цвет. Пол сделаны из каменных плит с различным орнаментом. Стены и потолки окрашены в белый цвет масляной краской, а сводчатые декоративные арки выкрашены в коричневый с орнаментом.
Церковь в Сувалках имела два алтаря: св. Александра Невского и боковой — Иоанн Предтечи. На месте второго (симметричного) бокового придела была устроена ризница. В храме могли разместиться одновременно две тысячи человек. Общая стоимость строительства церкви составляла 124 000 рублей. Вся стоимость церкви была покрыта государством. Площадь вокруг церкви была облицована камнем и огорожена чугунным забором.
В 1918 году, после обретения Польшей независимости, сувалкинская церковь была захвачена католиками, а в 1923 году церковь была перестроена в соответствии с традицией Римско-католической церкви в гарнизонный костёл польской армии. Все шатровые и луковичные завершения храма (за исключением шатра колокольни) были удалены, также был видоизменён и дизайн интерьера. Храм был передан Войску Польскому по решению Курии Ломжы от 2 июля 1923 года. До 1923 г. новоустроенный костёл использовался и гражданским населением с условием, что одна воскресная месса должна совершаться только для армии. Военный приход св. Казимира был установлен в 1926 году. Гарнизонный костёл был торжественно освящён во время визита епископа Войска Польского Станислава Галла 29 сентября 1928 года. В церкви было устроено захоронение чинов гарнизона.
Во время Второй Мировой войны церковь сохранилась без изменений. В 1944 году при отступлении немцы взорвали шатровую башню, повредив при этом входную дверь, крышу и окна. В конце войны установившийся в Польше коммунистический режим стал враждебен религии, и костёл был запланирован к сносу. Местные власти 18 декабря 1953 года приняли официальное постановление о сносе костёла на ул. Иосифа Сталина (ныне ул. Войска Польского), который был одобрен Управлением по делам религий в ноябре 1954 года. Первоначально строительный материал предназначался для строительства кинотеатра. Работы по сносу были начаться в 1955 году. Листовое покрытие крыши было снято, а фермы крыши демонтированы. Однако в том же году Муниципальная строительная компания в Сувалках, официально из-за отсутствия подходящих специалистов, отказалась от сноса, и работа была остановлена.
На волне «оттепели», в октябре 1956 года, решением курии Ломжи, жители Сувалки начали широкомасштабные работы по восстановлению костёла. Многочисленные гражданские делегации посетили офисы коммунистических властей и депутатов Сейма, депонировали десятки заявлений и петиций с тысячами подписей. Несмотря на интенсивные усилия по защите зданий в феврале 1957 года, власти приказали продолжить снос. Однако в марте под давлением курии Ломжи и жителей снос здания остановился. Осенью того же года Казимеж Томчик потерял свою должность на посту президента, а вчерашние товарищи из Повянского национального совета обвинили его в том, что он действовал по округу, произвольно вынося решение о повторном сносе костёла, бесхозяйственности и непонимании «постоктябрьской ситуации». Наконец, 4 сентября 1957 года Министерство национальной обороны передало приходскому совету прихода Св. Александра в Сувалки разрушенный на 60% костёл с прилегающей недвижимостью без права образовать новый приход. В результате личного вмешательства епископа Ломжы Чеслава Фальковского, пятнадцать тысяч кирпичей оставшихся от сноса, были возвращены властями.
Начался тяжелый период реконструкции костёла, который был торжественно освящён епископом Александром Москицким 8 декабря 1958 года. В 1970 году епископ Ломжский Николай Сасиновский основал при костёле отдельный пасторальный центр, а 9 февраля 1979 года тот же митрополит образовал приход Святых Петра и Павла. Большая заслуга в восстановлении костёла принадлежит о. Казимеж Хамерсмит.
Окна украшены многочисленными витражами, в которых, среди прочего, Святые Петр и Павел, св. Тереза, Младенец Иисус и изображения польских святых. Слева — картина Милосердного Иисуса. Правый неф украшен прямоугольной часовней. С правой стороны от входа за колонной стоит деревянная скульптура Св. Антония Падуанского. В 1970 году была сделана фреска Тайной вечери, сцена Воскресения Христова была написана над радужной аркой. В 1999 году над входом были сооружены две монументальные башни-близнецы.
Сайт прихода http://www.parafia-piotraipawla.pl/
Источники: http://www.chram.com.pl/cerkiew-sw-aleksandra-newskiego-8/; http://www.parafia-piotraipawla.pl/index.php/historia-parafii