К Мадраспатаму потянулись бычьи упряжки с камнями, кирпичом, латеритом и древесиной. Бесконечная вереница нанятых за гроши кули днем и ночью двигалась с берега реки Коум к месту постройки. Темнокожие люди несли на головах корзины с песком. Английские солдаты и чиновники Компании, превратившиеся в надсмотрщиков, подстегивали зазевавшихся. Надо было спешить. События могли нагрянуть неожиданно. День и ночь кули с потными спинами дробили камень, замешивали известь, пилили дерево, укладывали кирпичи. С непостижимой для Индии быстротой, всего за несколько месяцев, выросли на берегу океана добротные здания. Кули не могли скрыть своего удивления. Их руками было сооружено нечто чуждое. Странные прямые линии двух- и трехэтажных домов, с колоннами и острыми крышами раздражали глаз и казались уродливыми. Ничего подобного у себя на родине они не видели. Зато чужеземцы с нежностью взирали на растущие дома. Они напоминали им родные города, покинутые в далекой северной стране. С упорством маньяков, не обращая внимания на тропики, пришельцы воссоздавали европейский комфорт, затруднительный и бесполезный в этих широтах. Английский городок XVII века, обедненный убогой фантазией торговцев, возник на тропическом берегу. Его центром стала фактория. Там разместились чиновники Ост-Индской компании и писцы. Рядом с факторией построили склады для товаров и казармы для солдат и мелких служащих. К концу года был готов первый бастион форта. Паутина серых стен и крепостных валов поползла, захватывая нагретую солнцем землю с пальмовыми рощами. Восемь орудий грозно глядели в сторону португальского Сен-Томе. Однако в Лондоне Деем были недовольны. Директора Компании продолжали считать постройку форта делом дорогостоящим и ненужным. Дей упорно отмалчивался и… делал свое дело. К 1641 году Мадрас-патам, названный для краткости Мадрасом, стал основным английским опорным пунктом на Коромандельском побережье.
К стенам форта стали стекаться индийские ткачи и прядильщики. Они знали, что белолицые люди из форта нуждались в тонких красивых тканях. Им казалось, что там, под стенами чужеземного форта, они приобретут долгожданную безопасность и убежище от произвола местных правителей.
Вскоре у северной стены форта стал расти хорошо спланированный индийский город. Черный город. Для видимой безопасности его кварталы обнесли глиняной стеной. За внешними стенами форта находился Белый город, населенный англичанами, португальцами, англо-индийцами и индийскими христианами. Оба города росли, а с ними расширялся и форт. Уже не 25 солдат охраняли имущество Компании, а целый гарнизон стоял в стенах форта. Парусные корабли ежегодно везли в Мадрас новые подкрепления. На шлюпки, идущие к берегу, грузили солдат, пушки, ядра, бочки с порохом. Гарнизон стал превращаться в регулярное войсковое соединение. Ост-Индская торговая компания приступила к завоеванию Индии. Флаг завоеваний шел по пятам торговли. Длинноствольные мушкеты быстро уговаривали раджей на очередную уступку. Чугунные ядра, с шипением вылетавшие из пушечных жерл, напоминали о том, что Ост-Индская компания шутить не намерена. Военные фрегаты теперь бороздили волны Бенгальского залива, готовые в любой момент прийти на помощь. Угрозами и посулами, обманом и шантажом, силой и лестью форт вбирал в себя все новые и новые земли. Договоры об аренде этих земель подписывали блистательные султаны Голконды, фанатичный могольский император Аурангзеб, слабые и падкие на подарки местные навабы и раджи. В конце XVII — начале XVIII века под властью англичан оказались почти все окрестные деревни — Трипли-кейн, Тондиарпет, Эгмор, Нунгамбакам, Вепери, Кодам-бакам, Чепак, Пудупаккам, Мамбалам. Впоследствии они превратились в районы нового колониального города.
Французы, сидевшие в Пондишери, настороженно следили за англичанами в Мадрасе. В 1690 году у стен форта появился французский флот. После первого морского сражения англичане поняли, что французы — нежелательные соседи. До мадрасского форта время от времени докатывались отголоски той войны, которую вели Англия и Франция за обладание Индией. Эта война шла с переменным успехом.
Сентябрьским утром 1746 года дозорный с башни форта заметил на горизонте белые паруса кораблей, идущих военным строем. Он поднял тревогу. Несколько английских фрегатов вышли в море. Белые облачка разрывов свидетельствовали о том, что завязался морской бой. Два английских фрегата, развернувшись, пустились наутек. Вражеские корабли приближались к берегу. Видно было, как спускают шлюпки и французские солдаты и матросы ловко спрыгивают в них. Осада продолжалась три дня. На третий день на флагштоке английского форта взвился белый флаг Бурбонов. Битва была проиграна. Членов совета Ост-Индской компании провели по улицам Пондишери, как пленных рабов. Французы забрали из форта все товары и разрушили Черный город.