По распространённой в том числе в дореволюционных печатных источниках версии государственное русское и украинское село Козловка было основано в 1854 году. Эта информация ошибочна, так как ещё в 1845 году в Козловке, насчитывавшей 120 дворов, 601 мужчину и 518 женщин, тщанием прихожан была построена временная православная церковь во имя Николая Чудотворца. Здание храма было деревянным, холодным, без колокольни. В штат причта входили священник, дьячок и пономарь. Козловка же, очевидно, была основана в начале XIX века на почтовом тракте из Новоузенска в Саратов. В канун отмены крепостного права в селе в 170 домохозяйствах проживали 530 мужчин и 560 женщин.
В 1860 году иждивением прихожан была освящена новая церковь Николая Чудотворца, возведённая по утверждённому в 1857 году проекту. Деревянное здание с колокольней и железной крышей вмещало до 450 богомольцев и было обнесено деревянной оградой, за которой также имелась деревянная сторожка. В 1868 году в Козловке начала работу смешанная земская школа, для которой в 1869–1870 годах общество построило отдельное просторное здание.
В 1891 году открылась смешанная школа грамоты, преобразованная позже в одноклассную женскую церковно-приходскую, для которой имелся собственный дом. В конце XIX века в Козловке было 329 дворов, 874 мужчины и 926 женщин. В версте у пруда имелся выселок Козловочка, насчитывавший 4 домохозяйства, 27 мужчин и 18 женщин. Надел находился в общем владении жителей села и выселка. Помимо церкви и двух школ также работали шесть ветряных мельниц, волостное правление и заведение военно-конского участка. Вместо пришедшей в крайнюю ветхость церкви в 1901 году было решено построить новый храм. Руководство строительными работами взял на себя известный самарский архитектор Т. С. Хилинский. Заложили здание в 1902 году, а в 1903-м закончили фасад и покрыли железом колокольню. В том же году были построены общественные дома священника и псаломщика, кроме того в селе открылась учреждённая новоузенским уездным земством бесплатная народная библиотека-читальня.
В 1904 году было окончено строительство церкви. Приходская школа закрылась за ненадобностью в августе 1907 года. 26 сентября 1909 года состоялось торжественное освящение храма во имя Николая Чудотворца. Новое здание на 1500 человек было деревянным, однопрестольным, с колокольней и железными крышей и оградой. В 1910 году в Козловке насчитывалось 377 дворов, 1069 мужчин и 1063 женщины. Продолжали работать церковь, земская школа, пять ветряных мельниц, волостное правление, заведение военно-конского участка.
С приходом Советской власти Козловка стала центром одноимённого сельсовета Питерской волости. В период коллективизации был создан колхоз, церковь Николая Чудотворца закрыли и впоследствии разрушили.
