Английские власти использовали кастовые конфликты. Когда «правые» и «левые» не могли решить, кому из многочисленных индусских богов молиться, форт давал указание молиться за Ост-Индскую компанию. В храме Кришнасвами во время праздника 1790 года представители каст правой руки спустили пятицветный флаг «левых» и подняли белый. Для того чтобы внести успокоение и охладить страсти, англичане посадили в тюрьму обоих лидеров, спустили оба флага и подняли свой, с изображением святого Георгия. Разрешение этого конфликта стало символом традиционной английской политики «разделяй и властвуй». Теперь святой Георгий гордо реял над индусскими процессиями, а английские губернаторы делали богатые подношения мадрасским храмам, где брахманы-жрецы учили свою паству покорности новой власти. Клайв-второй дарил драгоценности разграбленного Серингапатама, Пигот — золото навабов Карнатика. Мунро — серебряные рупии тяжелых налогов. После национального восстания подношения прекратились, и постепенно затих конфликт между кастами правой и левой руки. На смену ему пришли иные противоречия и иные столкновения.
Когда начали строить Черный город, туда были приглашены ремесленники, в изделиях которых нуждалась Ост-Индская компания. Это были прядильщики, ткачи, рисовальщики, отбельщики, красильщики. Они охотно селились в новом городе, где получили ряд преимуществ. Их освободили от налогов на тридцать лет. И кроме этого ремесленники чувствовали себя в относительной безопасности под каменными стенами форта. Они устали от постоянных войн, которые вели в то время между собой индийские феодалы. Их грабили солдаты вражеских армий, притесняли собственные раджи и навабы, над их имуществом висела постоянная угроза. Четыреста семей ткачей поселились в строящемся Черном городе еще при Фрэнсисе Дее. Они надеялись найти там твердый заработок и свободу от произвола и грабежа. Но никто из них не подозревал, что они попали в стан хищников. Никто из них не знал, что «благодетельница» Компания разорит дотла и пустит по миру их потомков.
На окраинах Черного города стали возникать целые поселения ремесленников. Ткачи жили на Улице ткачей, которая теперь называется Ниниаппа-стрит. Со временем колония их расширилась и заняла район на берегу реки Коум, к югу от форта, — Чинтадрипет. На северной окраине теперешнего Джорджтауна жили отбельщики. До сих пор это место носит имя Уошерменпет — Улицы отбельщиков.
Кварталы ремесленников все время росли и расширялись. Для них Компания строила дома, привозила брахманов-жрецов и храмовых танцовщиц, открывала лавки и селила торговцев и парикмахеров. Индийские купцы стали строить для них храмы. К 1691 году в Черном и Белом городах обитало около 400 тысяч человек.
Первые камни фундамента будущей колониальной империи закладывались на улицах ткачей, прядильщиков, отбельщиков руками самих индийских ремесленников. Безналоговый сезон кончился довольно скоро. Касты левой руки познали всю тяжесть денежного обложения. Несколько раз они бунтовали, но солдаты из форта хорошо знали свое дело. Из Лондона в Мадрас один за другим шли корабли, груженные драгоценным металлом. Здесь из него делали золотые пагоды и серебряные рупии. Монеты вновь возвращались в форт или оседали в кованых ларцах на улицах каст правой руки, а ткани навсегда увозили на кораблях с белыми парусами куда-то в неизвестную далекую страну. Этих кораблей становилось все больше и больше, и неуклонно росла цифра стоимости индийского экспорта из Мадраса: 1639 год — 25 тысяч рупий, 1704 год — 200 тысяч рупий, 1739 год — 2 миллиона 500 тысяч рупий.
Все длиннее становился рабочий день ремесленника, все внушительнее — размеры задолженности Компании, ростовщикам, купцам. Но к этому уже привыкли, и многие смирились. Довольствовались тем, что была крыша над головой, свой станок и инструмент, мешок риса и горшок масла, были красочные храмовые праздники и веселые танцовщицы. В Черном городе сменилось не одно поколение ремесленников, прежде чем пришла беда. Она была такой страшной, что голодные годы, войны и солдатский грабеж — все померкло перед ней. В далекой Англии заработали текстильные фабрики, и корабли больше не брали индийских тканей. Они везли в Мадрас дешевый ситец. Форту оказались ненужными тысячи ремесленников. На корабли теперь грузили хлопок, индиго, земляной орех. Растущая промышленность Британии требовала сырья, готовые изделия она могла производить сама.