Краеведческий музей города Рассказово был создан в 1974 году на общественных началах как народный краеведческий. Так как жизнь большинства рассказовцев с середины XVIII века была тесно связана с производством тканей, особое внимание обращалось на экспонаты, рассказывающие о текстильном деле; они были «лицом», отличительной и привлекательной стороной музейного собрания.
В связи с этим в 1982 году музей был переименован в «Музей истории ткачества и текстильной промышленности города Рассказово». В 1999 году музей переместился в старинное двухэтажное здание постройки XIX века, которое принадлежало купцу Ивану Николаевичу Желтову, владельцу крупного кожевенного производства. Рассказовские купцы Желтовы оставили заметный след в истории города. Первые представители этого рода появились в Рассказово еще на рубеже XVIII–XIX веков. Мало что известно об этих людях, но можно предположить, что они были выходцами из нижегородских имений графа Шереметьева. В 1863 году была основана суконная фабрика братьев Желтовых. В 1896 году суконная фабрика братьев Желтовых имела годовой оборот в 300 тысяч рублей. Следуя духу времени, Желтовы большое внимание уделяли благотворительности. При фабрике братьев Желтовых был открыт приемный покой, немалые средства фабриканты Желтовы передавали в фонды родильных приютов и училищ.
В наши дни в стенах музея можно увидеть постоянные и сменные экспозиции. Интересны выставки, посвященные предметам крестьянского и купеческого быта, церковному убранству.
