После начала Первой мировой войны Азеф разорился, так как все его средства были вложены в русские ценные бумаги. Чтобы хоть как-то сводить концы с концами, открыл в Берлине корсетную мастерскую. В июне 1915 года немецкая полиция арестовала его как бывшего русского секретного агента. Содержался в тюрьме Моабит, был освобождён только в декабре 1917 года.
В тюрьме он заболел и 24 апреля 1918 года умер от почечной недостаточности в берлинской клинике «Krankenhaus Westend». Был похоронен в Берлине на Вильмерсдорфском кладбище в безымянной могиле за № 446. По некоторым данным, захоронение это сохранилось и до нашего времени.
