Основные помещения монастыря — пещерные, высечены в западном обрыве Монастырской скалы, на плато которой сохранились руины средневековой крепости Каламита, основанной в VI веке; в XIV—XV веках крепость вошла в состав православного княжества Феодоро, защищала его порт; в 1475 году захвачена турками. Время основания монастыря определяется историками неоднозначно: от VIII—IX до XIV—XV веков.
Возникновение монастыря предание связывает с почитанием Климента, римского епископа (папы) в 92—99 (101) годах, сосланного императором Траяном за проповедь христианства в каменоломни близ Херсонеса, проповедовавшего и убитого (утопленного) по тайному приказу императора здесь в 101 году. Мощи святого Климента, обретённые через год после его кончины, хранились сначала в подводном гроте близ Херсонеса (где были обретены), доступ в который открывался, по преданию, раз в год, когда — в день смерти праведника — море отступало; потом они были перенесены на небольшой остров (ныне — Казачий остров) посреди бухты, на котором, согласно преданию, руками ангелов была построена церковь. Около 861 года мощи святого Климента были обретены святыми равноапостольными Кириллом и Мефодием при участии херсонесского епископа Георгия блаженного и священников из константинопольского собора святой Софии. Мощи были внесены в Херсонесский храм, и по молитвам святого Климента совершалось много чудес.
Возле монастыря находился водный источник, по преданию открытый чудесным образом святым Климентом для облегчения участи каторжан. Источник пересох в 1970-х годах (возможно — в связи с проводившимися строительными работами), а его вода, постепенно затопила карьер по добыче инкерманского камня, находящийся по другую сторону Монастырской скалы.
После захвата в 1475 году крепости Каламита турками монастырь постепенно пришёл в упадок. Крепость была переименована в Инкерман, что и дало название возникшему здесь городу. С 1783 года город принадлежал России.
В 1850 году монастырь был возрождён и получил современное двойное наименование — по имени города и в честь святого Климента.
В 1867 году был перепланирован и заново открыт пещерный храм святого Мартина-исповедника. В 1895 году в память о спасении царской семьи в железнодорожной катастрофе был построен храм во имя великомученика Пантелеимона. В 1905 году в память о Крымской войне на верхнем плато была построена церковь во имя святого Николая Мирликийского (по проекту архитектора Георгия Долина).
C 1924 года храмы монастыря стали постепенно закрывать. В 1927 году землетрясение сильно повредило Благовещенскую и Николаевскую церкви, было принято решение их разобрать (закрытая в 1926 году церковь святого Николая на верхнем плато была полностью уничтожена в 1932 году). В 1928 году был закрыт храм иконы «Всех скорбящих Радость».
В 1931 году в пещерных храмах прекратились богослужения, монастырь был окончательно закрыт, его имущество передано Севастопольскому музейному объединению. После закрытия монастыря в нём остались жить его настоятель Венедикт, отец Прокопий и два 85-летних старца.
Во время Великой Отечественной войны в пещерах монастыря размещался штаб 25-й Чапаевской дивизии Приморской армии. В июне 1942 года солдаты этой дивизии на Инкерманских высотах сдерживали немецкие войска, рвавшиеся к Севастополю.
С 1991 года трудами настоятеля архимандрита Августина (Половецкого †1996), братии и мирян началось постепенное возрождение монастыря, были восстановлены храмы и келейные корпуса. Из Киева была передана частица честной главы святого священномученика Климента; рака со святыми мощами установлена в боковом нефе Свято-Климентовского храма.
26 января 2019 года были возобновлены еженедельные богослужения в пещерном храмовом комплексе, в храме Климента Римского.
