Кремлёвский холм естественного происхождения, с трёх сторон опоясывают две реки, Трубеж и Лыбедь. С четвёртой стороны находится рукотворный сухой ров, вырытый городскими жителями в XIII веке. Ров мог заполняться водой, и соединять обе реки, образовывая таким образом непрерывное водное кольцо вокруг холма.
Из грунта, вырытого для рва, был сложен кремлёвский вал. Современная протяжённость вала 290 метров, современная высота 18 метров от внешнего дна и 8 метров со стороны Верхнеильинской улицы у кремля. До XVIII века на его вершине располагались оборонительные стены и башни. Два других вала располагались на территории укреплённого острога, примыкавшего к кремлю. Они были полностью срыты во время реконструкции города в XVIII-XIX веках.
Во время Великой Отечественной войны на валу располагался один из пунктов противовоздушной обороны города, а у его подножья находилась артиллерийская школа, проработавшая почти до мая 1945 года.
Улица Кремлёвский вал названа в честь этого оборонительного сооружения.
