В 1844 году в селе тщанием прихожан была выстроена холодная деревянная, на каменном фундаменте, церковь во имя Святой Троицы. Здание имело деревянную колокольню, второй престол во имя Михаила Архангела, посреди храма под деревянной часовней и вмещал 800 человек. Освящение церкви состоялось в 1852 году, по другим данным, годом ранее. В штат причта входили священник и диакон, проживавшие в отдельных домах, и псаломщик, для которого арендовалась квартира. В 1875 году открылась смешанная земская школа, по другим данным, в 1871 году. При храме работали церковно-приходское попечительство и небольшая библиотека. В 1891 году начала работу женская церковно-приходская школа.
В советские годы Крепость Узень была малоприметным селом Куриловского сельсовета, входившим в колхозы более крупного соседа. Пришедшие к революции в ветхость Троицкая церковь с причтовыми домами и приходская школа были закрыты и впоследствии разрушены.
