Район Хитрова рынка имел как временных, так и постоянных жителей. Здесь оседали «стрелки» (нищие) разной специализации, всевозможные «бывшие» — оказавшиеся на дне отставные офицеры, бывшие помещики, старые барыни, выгнанные со службы чиновники, уголовники, алкоголики. Оставалось здесь жить и довольно много пришедших на заработки крестьян. Оказавшись (как всякий отходник) здесь зимой в поисках заработка, пришлый мужичок довольно часто попадал в стандартную для этих мест ситуацию: долго не работая, проживал все деньги или же его обворовывали в ночлежном доме. При этом он часто лишался паспорта. Развеять горе он отправлялся в ближайший кабак, пил с горя и довольно быстро пропивался: на Хитровке, как и в других подобных местах, на это существовала хорошо поставленная система. Если на мужике была добротная одежда, то либо на нее находился покупатель, либо кабатчик принимал ее вместо денег. Тут же выискивался старьевщик, который оценивал тулуп или другую одежду и предлагал за нее, к примеру, 15 рублей, одновременно выдавая владельцу «сменку» — какое-нибудь старое пальто или пиджак на вате. Через какое-то время с помощью трактирных завсегдатаев (а русский человек не пьет в одиночку) деньги заканчивались, и мужик предлагал кабатчику вместо денег — пальто. Та же процедура (только денег уже меньше) и новая «сменка» — рваный суконный армяк. Вслед за верхней одеждой та же участь постигала сапоги, шапку, штаны, рубаху — и в результате на свет появлялся «хитрованец» — в дырявых штанах, изодранном пиджаке прямо на голое тело, заколотом у горла булавкой, и галошах на босу ногу, а то и просто в одном халате, под которым светилось не особо прикрытое естество. Стыдливо запахиваясь, такой «золоторотец» объяснял: «Уж извините, православные, потому всей моей одёжи один этот халат остался, давеча сапоги и шапку пропил».
С этого времени надежды на нормальную жизнь исчезали, и горемыка уже не мог никуда деться с Хитровки: на пристойную работу его никто бы не взял, а на отъезд из Москвы не было денег. Он поневоле толокся вблизи рынка — более дальних вояжей его более чем легкий костюм не позволял, — пытался как-то «сшибить копейку», грелся по кабакам, смутно надеясь на дармовую выпивку, кормился в основном даровой закуской со стойки (где дадут, а где и выгонят), ночевал в ночлежках и мечтал о полицейской облаве, когда его, как беспаспортного, заберут и отправят по этапу домой вместе с другими беспаспортными или владельцами просроченных паспортов.
Со временем выяснялось, что и на Хитровке можно выжить: даже если не находилось пятака на ночлег, можно было пойти в бесплатную ночлежку Ляпиных, а обед найти в благотворительной бесплатной столовой. К тому же редкая булочная или мелочная лавка отказывала просящему в подаянии вчерашним хлебом. Многие московские монастыри по утрам бесплатно кормили всех желающих хлебом и квасом: для этого в ограде обители устраивалось специальное окошко. В самом крайнем случае можно было добровольно отправиться в работный дом, хотя этого варианта московские босяки не любили и побаивались.
Работный дом в Москве был основан в 1837 году, при активном участии известного писателя, автора повести «Тарантас» графа В. А. Соллогуба, служившего по тюремному ведомству. Бывая в Англии, Соллогуб заинтересовался тамошними работными домами и счел такие учреждения полезными для России, как места «для занятия нищих работою и для предоставления заработка лицам, добровольно обращающимся в него за помощью».
Для размещения Работного дома был приобретен один из домов князей Юсуповых в Большом Харитоньевском переулке (напротив известных всей Москве «палат Волкова-Юсупова») и в нем устроено мужское отделение на 300 мест, а еще женское и детское отделения и отделение «для неспособных к труду». По местонахождению заведение часто именовалось среди бедноты «Юсуповым работным домом».