Василий Хлудов родился 16 февраля 1841 года. Сын Алексея Ивановича Хлудова, владельца текстильной фабрики. Окончил Петропавловское училище в городе Москва, затем естественный и медицинский факультеты Московского государственного университета. Два года слушал лекции по химии в Гейдельбергском университете. Прекрасно разбирался в музыке, играл на фортепьяно и органе, владел тремя языками.
Получив свою долю наследства, вложил значительную его часть в покупку и освоение земель в районе города Сочи в 1982 году. Хлудов, не жалея денег, выписывал интересные растения со всех концов земного шара, собрал уникальные ботанические коллекции. Василий Алексеевич надеялся получать грандиозный урожай со своих 120 десятин садов с крымскими яблонями, гранатами, а также масличными деревьями, посаженными для получения оливкового масла. Но его начинания оказались неудачными. Имение «Раздольное» приносило убытки, и ему пришлось его продать.
На оставшейся территории в непосредственной близости к морю начал разбивать парк, и в 1896 году по проекту модного московского архитектора Льва Кекушева построил двухэтажную дачу в стиле модерн с элементами древнерусского теремного зодчества. Разбивку парка рядом с дачей закончили 1 июля 1898 года. Долгое время его называли Хлудовским, стал первым городским парком в городе Сочи.
В 1898 году подарил малому залу Консерватории орган работы известного немецкого мастера Фридриха Ладегаста. Впоследствии инструмент передали во Всероссийское музейное объединение музыкальной культуры имени М.И. Глинки.
Хлудову пришлось продать и дачу в 1909 году. Ее новой хозяйкой стала Марья Федоровна Золина, жена Губернского секретаря. А на территории парка по предложению Министра земледелия Алексея Ермолова московский коммерсант Антон Тарнопольский начал строить первый в России курортно-санаторный комплекс «Кавказская Ривьера». Первоначально по проекту, разработанному петербургским архитектором Василием Августовичем Ионом, комплекс состоял из двух гостиничных корпусов, но к 1913 году Тарнопольский выстроил еще два корпуса, увеличив общий номерной фонд санатория до 250 мест. На его территории располагался театр с залом на 600 мест, своя электростанция и собственный водопровод, куда вода поступала из горных источников.
Благодаря своей доверчивости, Василий Алексеевич вступил в Акционерное общество «Сталь», организованное коммерческим банком. Один из известных английских ученых доказывал, что вблизи Ладожского озера есть месторождения серебра и богатейшие залежи железной руды. Общество собиралось заниматься их разработками. На самом деле ученого подкупили, и осваивать там было нечего. От мошенников пострадали многие крупные промышленники, но Хлудов больше всех, так как купил слишком много акций общества.
После неудач в бизнесе Хлудов увлекся спиритизмом, занялся толкованием Евангелия, издавал брошюры на эти темы. Разбирался в металлургии, экспериментальной медицине, биологии, эндокринологии, садоводстве, астрономии. Василий Алексеевич являлся Московским Первой гильдии купцом, членом правления Егорьевской бумагопрядильной фабрики Товарищества «А. и Г. братьев Хлудовых», потомственным Почетным гражданином.
Хлудов Василий Алексеевич скончался 25 марта 1913 году в городе Москва. Все свое имущество завещал своей жене, а дом в Хлудовском тупике отдал под детскую больницу.
Памятник-бюст Хлудову Василию Алексеевичу был открыт 1 апреля 2004 года в парке «Ривьера» города Сочи. Авторами работы являются сочинские скульпторы Евгения Пешкова и Александр Тихомиров. Памятник установлен благодарными потомками коммерсанта.