Историко-литературный музей Ялты был основан в 1892 году при Крымском горном клубе, и достаточно быстро стал одним из главных центров культурной жизни ялтинцев.
Со времени своего основания эта культурная организация претерпела довольно значительные изменения как в своей структуре, так и художественной направленности.
Так, в 1918 году отходит от горного клуба в самостоятельное существование и меняет свое название — теперь это «Ялтинский естественно-исторический музей».
В 1924 году он становится краеведческим, а в 1932-м году объединяется с Восточным музеем.
Во время Второй мировой войны, в период боевых действий в Крыму, ценные экспонаты были эвакуированы в Новосибирск, а уже 28 апреля 1944 года музей был открыт снова для всех желающих.
В 1957 году в подчинение учреждения культуры передают литературно-мемориальный дом-музей К.А. Тренева и П.А. Павленко, а в 1970 году открыт филиал в прежнем поместье М.З. Бирюкова.
В 1977 году создана новая, отдельная экспозиция под названием «Прогрессивная русская и украинская культура и литература Ялты дореволюционного периода».
В 1985 году очередная смена названия — музей стал историческим. Через четыре года, как отдельное учреждение, в состав Ялтинского исторического музея входит гурзуфский музей Александра Сергеевича Пушкина, с 1999 года вновь стал самостоятельным учреждением.
В 1990 году снова переименование музея — так появился Ялтинский государственный объединенный историко-литературный музей.
Начиная с 1996 года музей принимает активное участие в культурной жизни страны: проводит Дмитриевские чтения, повествующие историю южного берега Крыма; принимает участие в культурных мероприятиях различного уровня — от городских до общероссийских и международных; осуществляет обмен экспонатами и целыми экспозициями с другими музеями как Крыма так и всей России.
В 2003 году музей получил своё финальное название — Ялтинский историко-литературный музей.
Основным зданием заведения является дом, спроектированный Николаем Петровичем Красновым, который находится по адресу Пушкинская, 5. В помещении здания на Екатерининской, 8 расположили музей им. Леси Украинки, что подчиняется культурному учреждению, и экспозицию «Культура Ялты ХІХ — начала XX века». Неизменно остаётся филиалом и дом — музей Николая Зотовича Бирюкова.
За свою долгую историю музей смог собрать свыше 150 тысяч различных экспонатов, как представленных в выставочных залах, так и хранящихся в фондах учреждения.