В начале XIX в. в Голутвине обосновались Рябушинские. Родоначальник их, Михаил Яковлев Ребушинский (так сначала писалась его фамилия), выходец из Ребушинской слободы города Боровска, в 1824 г. записался в московское купечество и торговал мануфактурой в Гостином дворе. Сын его Павел показал наибольшие успехи в семейном деле: основал большую и ставшую известной текстильную фабрику, получившую право изображать на своих изделиях государственный герб. Его дети уже играют значительную роль в предпринимательских и банковских организациях России — владеют предприятиями текстильной, бумажной и металлообрабатывающей промышленности, начинают строить автомобильный завод АМО в Москве. Из восьми внуков основателя династии некоторые отошли от предпринимательской деятельности: так, Дмитрий Рябушинский всерьез занялся аэродинамикой, основал под Москвой в Кучине большую лабораторию, Николай, даровитый, но, как не без сарказма звали его в Москве, «шалый», был близок к искусству, издавал роскошный художественный журнал «Золотое руно», Михаил и Степан стали известными коллекционерами икон. Рябушинские принадлежали к старообрядцам, но, несмотря на это, поддерживали новейшие течения в искусстве рубежа XIX и ХХ вв. Степан Рябушинский заказал Ф.О. Шехтелю особняк на Малой Никитской в стиле, как писал современник, «самого безнадежного модерна», а Николай построил ультрамодную загородную дачу «Черный лебедь» в Петровском парке. Один из них занимался активной политической деятельностью — Павел Петрович Рябушинский стал известен благодаря своей фразе о «костлявой руке голода», столь часто цитировавшейся советскими историками без связи с ее контекстом. В августе 1917 г. на 2-м торгово-промышленном съезде он сказал, что Россия находится на пороге катастрофы и что, «к сожалению, нужна костлявая рука голода и народной нищеты, чтобы она схватила за горло лжедрузей народа, членов разных комитетов и советов, чтобы они опомнились». И оказался прав: голод и разруха заставили большевиков отказаться от военного коммунизма, разрешить свободу торговли и предпринимательства и тем самым спасти Россию. Его высказывание подхватили большевики, чтобы отвести от себя все обвинения и переложить их на самого Рябушинского: малоизвестный тогда публицист из большевиков, некий Сталин, тут же тиснул передовую в газете «Рабочий солдат», где в угоду пропаганде извратил высказывание Рябушинского, демагогически приписав ему намерение задушить Россию голодом: «Господа Рябушинские, оказывается, не прочь наградить Россию голодом и нищетой… Они не прочь, оказывается, закрыть заводы и фабрики, создать безработицу и голод, чтобы вызвать преждевременный бой и успешнее расправиться с рабочими и крестьянами». Эту ложь за ним повторяли и все советские «ученые-историки» в течение 70 лет.
Родовой дом Рябушинских — памятник архитектуры XIX в. — сохранился: он находится на углу 1-го и 3-го Голутвинских переулков (№ 10/8). Как выяснилось из архивных документов, дом был приобретен Рябушинскими в декабре 1829 г., а раньше его нанимал, как записано в исповедной ведомости церкви Св. Николая в Голутвине, «вольноотпущенный Михаил Семенов сын Щепкин», знаменитый артист Малого театра, бывший в молодости, как известно, крепостным крестьянином. Со времени своего переезда в Москву он жил в Замоскворечье, снимая квартиры на Большой Якиманке. В 1-м Голутвинском переулке Щепкин поселился в 1828 г. Переход дома к Рябушинским, очевидно, послужил непосредственной причиной того, что он переселился уже в собственный дом, купленный в 1830 г. в Большом Спасском переулке.
В 1846 г. М.Я. Рябушинский основывает в Голутвине небольшую текстильную фабрику, которая в 1865 г. переходит к другим владельцам. В связи с продажей фабрики Рябушинские переезжают отсюда, а в старом доме они открывают в 1891 г. народную столовую, где ежедневно получали бесплатные обеды около 300 человек. В 1895 г. они передали свой дом Императорскому человеколюбивому обществу, которое открыло в нем убежище для вдов и сирот купеческого и мещанского сословий, а позднее учредило кружок попечения о трудящихся женщинах, ведший различную культурно-просветительскую работу — устраивавший музыкальные вечера, организовывавший читальни и библиотеки.
В конце XIX — начале ХХ в. Товарищество Московской Голутвинской мануфактуры среднеазиатских и внутренних изделий, как стала называться бывшая фабрика Рябушинских, значительно расширяет производство и строит в Голутвинских переулках большие фабричные здания. В 1911–1912 гг. возводится главное здание на углу с Якиманской набережной по проекту архитектора А.М. Калмыкова. Выразительный силуэт его краснокирпичной башни — она была предназначена для водонапорных баков системы пожаротушения — виден издалека. Ныне в переделанных помещениях бывшей текстильной фабрики — множество офисов.