Довольно долго дворец Разумовского на Гороховом поле представлял печальное зрелище после пожара. Сейчас он восстановлен. В здании находится Министерство Спорта, и работает Музей Спорта.
История усадьбы Разумовского началась в XVII веке, когда на правом низменном берегу Яузы у впадения ручья Кукуй жил датский купец Давид Бахарт.
Он способствовал установлению торговых связей Дании с Россией и был датским посланником при дворе Петра I. В начале XVIII века эти земли перешли канцлеру и президенту Коллегии иностранных дел Гавриле Головкину. Он поддерживал Анну Иоанновну, и когда в 1741 году к власти пришла Елизавета Петровна, его обвинили в измене и сослали в Якутию. Усадьбу на Яузе конфисковали в казну. Елизавета Петровна подарила бывшее владение Головина своему фавориту Алексею Разумовскому. Он больше жил в Петербурге и особняк на Гороховом поле навещал редко. Алексей Разумовский не оставил прямых наследников, поэтому его московская усадьба перешла его брату Кириллу, генералу-фельдмаршалу, малороссийскому гетману и президенту Академии наук.
Усадьба на Гороховом поле превратилась во дворец при его сыне — графе Алексее Кирилловиче. В 1795 году он вышел в отставку и переселился в Москву.
В 1800 году Разумовский продал владения на Воздвиженке и в Шереметевском переулке и переехал в отцовскую усадьбу на Яузе. В 1803 году здесь появился новый роскошный усадебный дом по проекту Н.А. Львова (по другим версиям, Матвея Казакова или Адама Менеласа). По желанию владельца главный дом построили из поставленных вертикально дубовых брусьев. На роскошную отделку здания потребовалось несколько миллионов рублей, и дворец Разумовского украсили дорогие зеркала, бронза, позолота, гобелены. Даже подоконники были из лазурита. Специально под новый дом заказали даже севрские и саксонские сервизы. Усадебный парк занял более 28 гектаров. Его украсили статуи и беседки. В саду были четыре пруда с рыбой, в оранжереях росли редкие растения, а ухаживали за ними выписанные из Европы садовники. Здесь даже вывели новый сорт можжевельника, который назвали в честь графа Rasoumovia. Но сын Алексея Разумовского вел расточительный образ жизни, Поселившийся летом 1827 года в одном из флигелей усадьбы Адам Мицкевич отмечал, что от великолепной графской усадьбы мало что осталось. В 1828 владение перешло одесскому купцу Юркову, и богатые коллекции распродали за бесценок.
Через 5 лет дворец Разумовского купил Опекунский совет, и в здании разместились благотворительные и учебные заведения.
Там были приют для призрения сирот чиновников, умерших от холеры, будущий Александринский сиротский институт. В 1842 году открылось малолетнее отделение Института обер-офицерских сирот, которое переименовали в Александринское сиротское малолетнее отделение. Затем в усадьбе Разумовского разместилась фельдшерская школа Воспитательного дома и богадельня. В 1876-1886 годах тут работала учительская семинария, а с 1901 в бывшем дворце разместили убежище государыни императрицы Марии Федоровны для заслуженных воспитательниц учреждений Императрицы Марии. В советское время дворец Разумовского занял физкультурный институт. Пруды засыпали, а на их месте устроили стадионы и спортплощадки. В 1979 году усадьба стала олимпийским объектом. Началась реставрация, но работы затянулись.
А в 1999 дворец Разумовского сгорел. Здание долго стояло заброшенным. Наконец в 2017 году дворец Разумовского отреставрировали, и в здании разместилось Министерство Спорта. Также здесь открыли Музей Спорта.
