Родился в 1844 году в Таганроге в семье военного врача. Был определён на обучение в Таганрогскую классическую мужскую гимназию.
Рано потеряв родителей, был отдан родственниками на воспитание в частный пансион при Лифляндской дворянской гимназии в местечке Биркенруэ Венденского уезда Лифляндской губернии, по окончании которого в 1862 году, К. А. Савицкий поступил в Императорскую Академию художеств в класс исторической живописи. Учился у профессоров Ф. А. Бруни, А. Т. Маркова и П. П. Чистякова.
За время учёбы в Академии награждён семью медалями: в 1868 году три малые серебряные за картину «Шарманщик», в 1869 году большая серебряная за эскиз «Распятие Христа», в 1870 большая серебряная и большая поощрительная за картины «Посещение больного сына» и «Часовой у порохового погреба». В 1871 году за программу «Каин и Авель» награждён малой золотой медалью, после чего отправлен Академией за границу, где по 1874 год получал стипендию Императора Александра II. После посещения художественных академий Дрездена и Дюссельдорфа, жил и работал в Париже, увлекался гравюрой по металлу.
С 1872 года экспонент, с 1878 года — член Товарищества передвижных художественных выставок. В 1878 году выставлялся на Всемирной выставке в Париже, в 1882 на Всероссийской художественно-промышленной выставке в Москве.
После трагической гибели жены в феврале 1875 года вернулся в Россию, поселившись в Динабурге, где художник создал несколько своих самых значительных произведений: «Встреча иконы» 1878 года, «На войну» 1880 года.
С 1883 года по 1889 год К. А. Савицкий жил в Санкт-Петербурге и преподавал в Центральном училище технического рисования барона А. Л. Штиглица. В 1891 переехал в Москву преподавателем в Московское училище живописи, ваяния и зодчества. С 1894 года руководил в Училище натурным классом. С 1895 года — действительный член Императорской Академии художеств, в 1897 году «за известность на художественном поприще» К. А. Савицкому присвоено звание академика живописи.
Согласно завещанию генерал-лейтенанта Н. Д. Селивёрстова, застреленного в 1890 году в Париже польским социалистом Сигизмундом Падлевским, в собственность городской казны города Пензы перешли 300 тысяч рублей и коллекция собранных генералом книг и картин с условием организации в Пензе художественной школы, которая должна была носить имя наследодателя.
Первым директором вновь построенной Пензенской картинной галереи и Пензенского художественного училища имени Н. Д. Селивёрстова, поступивших в ведение Императорском Академии художеств и Министерства Императорского Двора в 1898 году, был назначен академик живописи К. А. Савицкий. Художником была разработана собственная программа обучения, внесены изменения в планировку здания, лучшие выпускники Училища зачислялись без экзаменов в Императорскую Академию художеств. Благодаря Савицкому в Пензу были направлены в 1898 году и в 1901 году передвижные художественные выставки.
К. А. Савицкий возглавлял Училище до момента своей смерти 31 января 1905 года. Похоронен на Митрофановском кладбище в Пензе.
Именем Константина Савицкого названа улица в Пензе, Пензенская областная картинная галерея и Пензенское художественное училище.
На здании Пензенского художественного училища установлена мемориальная доска, посвящённая выдающемуся живописцу.
В 1980-х годах в Пензенской областной картинной галерее был создан мемориальный музей К. А. Савицкого.
В 2011 году на территории Губернаторского дома в Пензе установлен памятник живописцу.
