Родился 17 (29) октября 1861 года в селе Станичная слобода Борисоглебского уезда Тамбовской губернии. Его отец Пётр Васильевич и старший брат Фёдор были иконописцами, и в детстве Андрей часто помогал им в работе. В 14 лет Андрей Рябушкин осиротел. Случайно его способности заметил гостивший в селе студент Московского училища живописи, ваяния и зодчества А. Х. Преображенский. Он увёз юношу в Москву и помог определиться в училище. не окончив его, он уехал в Петербург, где поступил в 1882 году в Академию художеств. Учился, в частности, у Павла Петровича Чистякова. Его дипломной работой стало произведение на религиозную тему — «Снятие с креста» (1890).
Совершил ряд поездок по древним русским городам — Орёл, Тула, Киев, Великий Новгород, Сергиев Посад, Тверь, Ярославль, Углич, Ростов, Кострома, Нижний Новгород, Владимир… В ходе своих путешествий увлёкся русской историей и русским народным эпосом.
В 1890-х годах художник писал заказные работы, рисунки и акварели для изданий и альбомов, эскизы композиций для предполагавшейся росписи Софийского собора в Новгороде. Его крупной исторической картиной в этот период стала «Московская улица XVII века в праздничный день» (1895).
Значительная роль в произведениях художника отведена русскому пейзажу. В декоративном решении полотна Рябушкин шёл от традиции русской иконописи и фресковых росписей. В 1901 году он написал одну из лучших картин «Свадебный поезд в Москве». На ней изображена Москва XVII века. В 1913 году картина была продана коллекционером Сергеем Щербатовым Третьяковской галерее.
В последние годы жизни Рябушкин увлёкся созданием иллюстраций к русским былинам и к деревенским темам. В это время им написаны картины «За водой» (1898), «В деревне» (1902), «Втёрся парень в хоровод…» (1902), «В деревне. К обедне» (1903).
В 1903 году у него был диагностирован туберкулёз. Лечение в Швейцарии не помогло. Скончался художник в имении своего друга художника Василия Васильевича Беляева усадьбе Дидвино Новгородской губернии[2] и был погребён на ближайшем кладбище в Добром Селе.
Прах перезахоронен в 1957 году на Любанском городском кладбище, на могиле поставлен памятник.
110 картин художника А. Рябушкина экспонируются в Государственном русском музее, в Третьяковской галерее, во Всероссийском музее А. С.Пушкина, Научно-исследовательском музее Российской Академии художеств, Псковском художественном музее.
Несколько работ находятся в частных коллекциях живописи. В частности, огромный архив И. Ф. Тюменева содержит около трёхсот рисунков Рябушкина
