На Хитровке находили пристанище профессиональные нищие. Они скитались по церквям, трактирам и торговым рядам в поисках милости и прося подаяние. Помимо бродяг и попрошаек, хитровские окрестности наполнялись воровским людом. Одни грабили торговые лавки, обирали в вечернее время прохожих, лазили через форточки по домам, зачищали карманы и сумки посетителей рынков. Другие скупали награбленное и укрывали преступников. Хитровка, больше похожая на город в городе, жила своей отдельной жизнью, обеспечивая своих обитателей работой, деньгами и увеселениями.
Образ нищей, воровской Хитровки нашел отражение в воспоминаниях современников. Поэтесса и писательница Т. Л. Щепкина-Куперник так охарактеризовала этот район: «Хитров рынок — больная и грязная язва Москвы, скопище голодного пьянства, жалкого порока, поножовщины, тифа и отравы, — место, пожалуй, страшнее и опаснее “чертовых Куличек” времен царя Алексея Михайловича». Театральные режиссеры К. С. Станиславский и В. И. Немирович-Данченко вместе с художником В. А. Симовым в 1902 году побывали на Хитровке в поисках типажей для постановки пьесы М. Горького «На дне».
Этот район не мог оставить без внимания журналист и исследователь Москвы В. М. Гиляровский. В книге «Москва и москвичи» он описал места, в которых находили прибежище уголовники разных мастей: «Дома, где помещались ночлежки, назывались по фамилии владельцев: Бунина, Румянцева, Степанова (потом Ярошенко) и Ромейко (потом Кулакова). В доме Румянцева были два трактира — “Пересыльный” и ”Сибирь”, а в доме Ярошенко — ”Каторга”. Названия, конечно, негласные, но у хитрованцев они были приняты. В ”Пересыльном” собирались бездомники, нищие и барышники, в “Сибири” — степенью выше — воры, карманники и крупные скупщики краденого, а выше всех была “Каторга” — притон буйного и пьяного разврата, биржа воров и беглых. “Обратник”, вернувшийся из Сибири или тюрьмы, не миновал этого места. Прибывший, если он действительно “деловой”, встречался здесь с почетом. Его тотчас же “ставили на работу”. Полицейские протоколы подтверждали, что большинство беглых из Сибири уголовных арестовывалось в Москве именно на Хитровке».
Усилия полицейских властей не могли искоренить хитрованскую преступность. Масштаб проблем был таков, что розыск и аресты преступников не решали коренных причин: бедности и обездоленности обитателей Хитровки. В 1873 году московский обер-полицмейстер Н. У. Арапов предпринял попытку ликвидировать Хитровский рынок и перенести его на окраину тогдашней Москвы. По его мнению, эта мера могла улучшить криминогенное положение и санитарные условия Хитровской площади. Но городская дума не поддержала обер-полицмейстера, и вслед за ней генерал-губернатор Москвы отказал в переносе рынка. Только в советское время площадь зачистили от криминальных элементов. В 1920-х гг. на ее месте разбили сквер, а в ночлежных домах разместились жилищные товарищества.
Труд бурлаков активно применялся в перевозках грузов по речным путям вплоть до конца XIX века. Они работали на Волге, Каме и других важных водных торговых путях. «Столицей» бурлаков считался город Рыбинск, находившийся на пересечении Мариинской и Тихвинской водных систем, связывавших по воде Волгу с Балтийским морем. До появления пароходов и удобной железнодорожной сети транспортировка грузов в основном выполнялась силами бурлаков. Повышенный спрос привлекал в их ряды множество желающих заработать нехитрым, но тяжелым трудом.
Бурлаков отличала особенная профессиональная атмосфера. Они собирались в сплоченные ватаги или артели, в которых каждому отводилась определенная роль. Наиболее значимые функции выполняли «коренные» бурлаки: «водолив» отвечал за сохранность перевозимого товара, «дядя» решал хозяйственные вопросы артели, «шишка» возглавлял бечевую процессию, за «шишкой» следовали двое «косных» бурлака. Остальные артельщики назывались «добавочными», тягловое усилие которых преимущественно использовалось в бурлацкой работе. Артельная иерархия создала предпосылки для выстраивания устойчивых связей между ее участниками. И если они решали идти на лихое дело, то бурлацкая ватага быстро становилась преступной шайкой с выверенной и отлаженной структурой.
Осенью после окончания сезона работ часть бурлаков возвращалась к своим семьям, а другая часть оседала в городах на зимовку, перебивалась случайными заработками и охотно вовлекалась в разбойничьи шайки. Бурлаки-разбойники промышляли на окраинах городов и торговых дорогах. В районе Рыбинска грабители занимались «мартышничеством» — с воды подплывали на лодках к баржам и забирали все ценное. На плоскодонных лодках бурлаки спускались вниз по Волге в районы Камы или Жигулей — известные разбойные центры Поволжья. Здесь они имели тесные связи с профессиональными преступниками и сами или совместно с ними занимались грабежами.