Евгений Фелицын родился 17 марта 1848 года в городе Ставрополь. Его отец служил обер-офицером на службе Российской армии. В 1864 году юноша окончил Ставропольскую губернскую гимназию. В этом же году поступил на военную службу унтер-офицером в 74 Ставропольский пехотный полк, который вел боевые действия на Западном Кавказе. В составе того полка принял участие в ряде экспедиций против горцев.
После окончания Кавказской войны Фелицын в декабре 1864 года вышел в отставку «без именования воинским званием», но через три года вновь вступил в службу. В июле 1869 года командирован в Тифлисское пехотное училище для прохождения обучения.
По окончании курса по I разряду Фелицын 20 октября 1872 года произведен в первый офицерский чин прапорщика. В 1875 году по собственному желанию переведен в Екатеринодарский конный полк Кубанского казачьего войска с переименованием в хорунжия, и в том же году прикомандирован к штабу Кубанского казачьего войска.
Во время Русско-турецкой войны 1877-1878 годов Фелицын исполнял должность старшего адъютанта Баталпашинского военного отдела, но вскоре прикомандирован к сводному Хоперско-Кубанскому казачьему полку и составе так называемого Марухского отряда под командованием генерал-лейтенанта Павла Бабыча участвовал в походе против турецких войск на Сухум.
За проявленное усердие по обеспечению движения отряда Фелицын 30 ноября 1879 года произведен в сотники. По окончании войны с Турцией Евгений Дмитриевич вновь причислен к штабу Кубанского казачьего войска старшим адъютантом.
В 1884 году награжден чином есаула, а через три года переведен в I Екатеринодарский полк и назначен командиром сотни того полка. В следующем 1888 году вступил в должность правителя канцелярии начальника Кубанской области и наказного атамана Кубанского казачьего войска.
Через четыре года Евгений Дмитриевич командирован в Тифлис, где в декабре назначен исполняющим должность председателя Кавказской археографической комиссии. Позднее награжден чином войскового старшины.
Находясь на военной службе, Фелицын практически весь свой досуг посвящал изучению различных отраслей естествознания. Собирал и изучал материалы по палеонтологии, ботанике, минералогии, геологии. У архивариусов запрашивал архивные материалы для изучения истории Кубани, а также демографии и этнографии горских племен Северного Кавказа.
Кроме того, Фелицын собирал биографические сведения о видных военных деятелях на Кавказе, а также сведения о частных случаях героических подвигов как русских воинов, так и горцев, при этом лично посещая те места где происходили интересовавшие его события.
Свою литературную деятельность Фелицын начал с публикаций статей в газете «Кубанские областные ведомости». В дальнейшем, кроме «Кубанских ведомостей», его исследования публиковались в таких периодических изданиях как: «Тифлисские ведомости», «Кавказ», «Известия Общества любителей естествознания, антропологии и этнографии», «Кубань», «Известия Кавказского отдела русского географического общества», «Кубанский сборник», «Известия Общества любителей изучения Кубанской области».
Евгений Дмитриевич являлся первым секретарем вновь открытого Кубанского областного статистического комитета, а также редактировал его издания, повысив их информационную содержательность. Занимал пост редактора неофициальной части газеты «Кубанские областные ведомости», которая полностью им преобразована.
Также, Фелицын издал два тома «Кавказского сборника» и семь «Памятных и справочных книжек Кубанской области». Кроме того, является автором ряда отдельных изданий. По просьбе сотрудников статистического комитета Владимира Щербины и Алексея Собриевского Фелицыным издан «Библиографический указатель литературы о Кубанском казачьем войске и Черноморской губернии», который являлся первым и единственным дореволюционным капитальным трудом по библиографии Кубанской области.
Находясь на должности председателя Кавказской археографической комиссии в Тифлисе, Фелицын редактировал и подготовил к изданию 12 том «Актов, собранных Кавказской археографической комиссией».
Любимым предметом исследований Фелицына являлась археология. Исследователь совершил ряд археологических экспедиций по Кубанской области, в Баталпашинский и Майкопский отделы. Провел много раскопок курганов. Занимался исследованием дольменов или, так называемых, «богатырских хат». Исследовал и описал более 700 мегалитических гробниц. Наиболее ценные находки Фелицын отправлял в Кавказский музей в Тифлисе, Российский исторический музей в Москве и Эрмитаж в Санкт-Петербурге.
Фелицын активно занимался общественной деятельностью, имевшей официальное или полуофициальное отношение к его службе. Еще будучи портупей-юнкером в Майкопе зачитал речь о голодающих самарцах, после чего в пользу последних собрал некоторую сумма денег. Далее исполнял обязанности секретаря правления Екатеринодарского женского благотворительного общества. Состоял членом комиссии по выбору направления для прокладывания новороссийской ветви Владикавказской железной дороги.
Евгений Дмитриевич также занимался сельскохозяйственными и экономическими вопросами Кубанской области и в целом казачества. Занимался исследованием различных отраслей народного хозяйства. Кроме отчетов им напечатаны работы по хлебопашеству, рыболовству, коневодству, садоводству и виноградарству. С 1890 по 1892 годы контролировал типографии, литографии, фотографии, библиотеки и книжную торговлю в Кубанской области и Черноморском округе.
Еще Фелицын профессионально занимался фотографией. Производил фотосъемки объектов, имеющих историческую ценность и природные места «выдающиеся по красоте или величественности видов».
Некоторое время Фелицын увлекался музыкой. Учился играть на некоторых музыкальных инструментах, как правило уединенно «чтобы другие не слышали». Написал и напечатал несколько музыкальных пьес и маршей.
В последние годы своей жизни Фелицын, проживая в Екатеринодаре, вел уединенный образ жизни. Занимался подготовкой к печати еще неизданных работ и приведением в порядок собранных архивных материалов. Для поправки здоровья Фелицын в конце лета 1903 года отправился в Геленджик. Однако эта поездка не принесла пользы и вскоре ученый вернулся в Екатеринодар.
Скончался Евгений Дмитриевич вечером 23 декабря 1903 года в возрасте 55 лет в Кубанской войсковой больнице от воспаления мозга. Панихида состоялась в Воскресенской церкви, на территории Екатеринодарской крепости. В сопровождении двух сотен казачьего полка и оркестра Фелицына похоронили на офицерской части войскового кладбища.
