Нижегородский историк и краевед И.А. Милотворский, описывая путь Ивана Грозного через Нижегородскую губернию во время его похода на Казань в 1552 году, отмечал, что «девятый стан» царь сделал на берегуреки Пьяны в четырех верстах от старинного села Черновского. Далее исследователь указывал, что в двух верстах от Черновского находится деревня Ниловка, названная так по имени одного из Ермоловых, вместо прежнего «Никольское». И.А. Милотворский утверждал: «В Ниловке есть небольшое деревянное здание — часовня, в которой хранятся иконы, взятые сюда избывшего когда-то здесь мужского Никольского монастыря и упраздненного, вероятно, в 1764 году; на месте монастырского храма и была возведена эта часовня».
Как свидетельствуют письменные источники, все движимое имущество, как из монастырских зданий, так и из церквей, было перенесено в Арзамас, где к этому времени был основан новый женский монастырь с тем же названием — Никольский. В Ниловке же остались только иконы, которые и были поставлены в эту часовню. Кроме опубликованных материалов Нижегородской губернской архивной комиссии, достоверные факты о Никольском монастыре сообщали и«Нижегородские епархиальные ведомости». Вот что писала газета 15 мая 1892 года: В приходской к сему Черновскому деревне Ниловке, прежде носила название Никольское, есть небольшое деревянное здание, в котором хранятся иконы. Близ деревни Ниловки в былое время был Никольский мужской монастырь, а на том месте, где стоит теперь это здание, был монастырский храм. Неизвестно, когда и по какому случаю монастырь этот был закрыт; все движимое имущество как из корпусов монастырских, так из церкви было перевезено в Арзамас, где был основан новый женский монастырь того же имени; осталось только в Ниловке несколько икон, которые и стоят в означенном здании.
