В этом же городе живет ткач Стивен Блекпул, простой рабочий, честный человек. Он несчастлив в браке — его жена пьяница, совершенно падшая женщина; но в Англии развод существует не для бедных, как объясняет ему его хозяин Баундерби, к которому он пришел за советом. Значит, Стивену суждено нести свой крест дальше, и он никогда не сможет жениться на Рэйчел, которую любит уже давно. Стивен проклинает такой миропорядок — но Рэйчел умоляет не говорить подобных слов и не участвовать ни в каких смутах, ведущих к его изменению. Он обещает. Поэтому, когда все рабочие вступают в «Объединенный трибунал», один лишь Стивен этого не делает, за что вожак «Трибунала» Слекбридж называет его предателем, трусом и отступником и предлагает подвергнуть остракизму. Узнав об этом, Стивена вызывает хозяин, рассудив, что отвергнутого и обиженного рабочего неплохо бы сделать доносчиком. Категорический отказ Стивена ведет к тому, что Баундерби увольняет его с волчьим билетом. Стивен объявляет, что вынужден уйти из города. Беседа с хозяином происходит в присутствии его домочадцев: жены Луизы и ее брата Тома. Луиза, проникшись сочувствием к несправедливо обиженному рабочему, тайно идет к нему домой, чтобы дать ему денег, и просит брата сопроводить ее. У Стивена они застают Рэйчел и незнакомую старушку, которая представляется как миссис Пеглер. Стивен встречает ее второй раз в жизни на одном и том же месте: у дома Баундерби; год назад она расспрашивала его о том, здоров ли, хорошо ли выглядит его хозяин, теперь она интересуется его женой. Старушка очень устала, добрая Рэйчел хочет напоить ее чаем; так она оказывается у Стивена. Стивен отказывается взять у Луизы денег, но благодарит ее за благой порыв. Перед тем как уйти Том уводит Стивена на лестницу и наедине обещает ему работу, для чего нужно по вечерам ждать у банка: посыльный передаст ему записку. В течение трех дней Стивен исправно ждет, и, не дождавшись ничего, покидает город.
Между тем Том, вырвавшись из Каменного приюта, ведет разгульный образ жизни и запутывается в долгах. Поначалу его долги платила Луиза, продавая свои драгоценности, но всему приходит конец: у нее нет больше денег.
За Томом и особенно за Луизой пристально наблюдает миссис Спарсит, бывшая домоправительница Баундерби, которая после женитьбы хозяина занимает должность смотрительницы банка. Мистеру Баундерби, который любит повторять, что родился в канаве, что мать бросила его, а воспитала улица и он всего достиг своим умом, страшно льстит якобы аристократическое происхождение миссис Спарсит, живущей исключительно его милостями. Миссис Спарсит ненавидит Луизу, по-видимому, потому, что метит на ее место — или по крайней мере очень боится лишиться своего. С появлением в городе Джеймса Хартхауза, скучающего джентльмена из Лондона, который намерен баллотироваться в парламент от округа Кокстаун, чтобы усилить собою «партию точных цифр», она увеличивает бдительность. Действительно, лондонский денди по всем правилам искусства осаждает Луизу, нащупав ее ахиллесову пяту — любовь к брату. О Томе она готова говорить часами, и за этими беседами молодые люди постепенно сближаются. После свидания с Хартхаузом наедине Луиза пугается самой себя и возвращается в дом отца, объявив, что к мужу более не вернется. Сесси, тепло души которой согревает теперь весь Каменный приют, ухаживает за ней. Более того, Сесси по собственной инициативе идет к Хартхаузу, чтобы убедить его уехать из города и не преследовать более Луизу, и ей это удается.
Когда разнеслась весть об ограблении банка, Луиза падает в обморок: она уверена, что это сделал Том. Но подозрение падает на Стивена Блекпула: ведь это он три дня дежурил у банка вечерами, после чего скрылся из города. Разъяренный бегством Луизы и тем, что Стивен так и не найден, Баундерби по всему городу расклеивает объявление с приметами Стивена и обещанием награды тому, кто выдаст вора. Рэйчел, не в силах вынести клеветы на Стивена, идет сначала к Баундерби, а затем, вместе с ним и с Томом, к Луизе и рассказывает о последнем вечере Стивена в Коктауне, о приходе Луизы и Тома и о таинственной старушке. Луиза подтверждает это. Кроме того, Рэйчел сообщает, что отправила Стивену письмо и он вот-вот вернется в город, чтобы оправдаться.
Но дни идут за днями, а Стивен все не приходит. Рэйчел очень волнуется, Сесси, с которой она подружилась, как может, поддерживает ее. В воскресенье они едут из дымного, смрадного промышленного Кокстауна за город погулять и случайно находят шляпу Стивена у громадной страшной ямы — у Чертовой Шахты. Они поднимают тревогу, организуют спасательные работы — и умирающего Стивена вытаскивают из шахты. Получив письмо Рэйчел, он поспешил в Кокстаун; экономя время, пошел напрямик. Рабочие в толпе проклинают шахты, которые уносили их жизни и здоровье, будучи действующими, и продолжают уносить, будучи брошенными. Стивен объясняет, что дежурил у банка по просьбе Тома, и умирает, не выпуская руки Рэйчел. Том успевает скрыться.