Помимо своей значимости как порта захода для восточных «индийцев» всех национальностей, в некоторых отношениях мыс Доброй Надежды развился в уникальную колонию — за исключением недолго просуществовавших Новых Нидерландов — во владениях Ост- и Вест-Индской компаний. Здесь имелась климатически здоровая субтропическая и местами плодородная прибрежная зона, практически никем не занятая, за исключением кочевых бушменов и готтентотов, не представлявших серьезной угрозы. Белая колонизация оказалась здесь столь же возможной, как и в Новой Голландии, с дополнительным преимуществом в том, что поблизости не имелось конкурирующей европейской нации. Стоит отметить, что условия для первопроходцев ван Рибека сложились крайне суровые, ведь все приходилось строить с нуля, и здесь не было дешевой рабочей силы, как в азиатских фортах и факториях VOC. Строительного леса оказалось столь мало, что приходилось большое его количество ввозить из Скандинавии через Голландию, до обнаружения в 1760 г. лесов в восточной части района мыса. Когда Heeren XVII санкционировали основание новой колонии, они не предусматривали сколь — нибудь многочисленного белого поселения и долгое время, ради экономии средств, стремились сохранить его как можно меньшего размера. Существовал даже план, инициатором которого был Рейклоф ван Гуне (в 1655–1657 гг.), прорыть канал между бухтами Столовой и Фалсбай, дабы тем самым превратить мыс в легко обороняемый остров. Однако обстоятельства вынудили местные власти (или, как их называли до 1691 г., «командоров»), а через них и Heeren XVII согласиться, хотя и крайне неохотно, на расширение оригинального поселения до размеров, о каких и не мечтали его основатели.
Ван Рибек вскоре осознал, что бывшие солдаты, моряки, клерки и ремесленники не самый подходящий контингент для сельскохозяйственных работ, которые были необходимы, если поселению вменялось в обязанность снабжать восточных «индийцев» достаточным количеством свежего мяса, овощей, фруктов и другого провианта. Он и его преемник Захария Вагенер выступали за привлечение китайских рабочих, поскольку оба они служили на Востоке и были впечатлены результатами, достигнутыми китайскими огородниками на Формозе (Тайване) и Яве. Однако властям Батавии не удалось убедить китайцев эмигрировать в это отдаленное место, о котором те ничего не знали. И хотя ван Рибек настаивал, чтобы ему в качестве альтернативы прислали рабов, они стали появляться здесь в достаточных количествах не раньше, чем в 1670-х гг. наладилась торговля рабами с Мадагаскаром. Порабощение местных аборигенов было строго запрещено Heeren XVII, да и в любом случае опыт вскоре показал, что чистокровные готтентоты и бушмены оказались бесполезны в качестве наемных сельскохозяйственных рабочих, хотя из мужчин — готтентотов получались хорошие пастухи, конюхи и извозчики, а девушек и женщин-готтентоток иногда брали в домашние служанки.
Из-за нехватки рабов и китайцев ван Рибеку по необходимости пришлось обратиться к системе свободных бюргеров, с треском провалившейся в Восточных Индиях. Он уговорил некоторых из местных служащих, проявлявших — хотя бы отчасти — склонность к сельскохозяйственным работам, оставить службу в компании и принять в дар земли под фермы на условии, что продукция должна будет продаваться компании по установленным ею же ценам. Позднее фермерам и бюргерам разрешили устанавливать более высокие цены на провизию для иностранных судов, за исключением периодов нехватки продовольствия, когда они были обязаны продавать его исключительно компании. Прогресс шел медленно — на протяжении нескольких десятилетий. С одной стороны, власти сетовали, что свободные бюргеры имели склонность бросать работу на земле в пользу содержания таверн в Кейптауне. А с другой — свободные бюргеры жаловались, что не могут возделывать землю и выращивать пшеницу без использования тягловых волов и рабов и что компания платит слишком мало за их продукцию. Максимальный упадок пришелся на 1660 г., когда 42 из примерно 70 свободных бюргеров удалось тайно подняться на борт возвращающегося в Нидерланды индийского флота, причем при активном содействии моряков. 12 лет спустя белое население все еще насчитывало менее 600 человек, из которых только 64 были взрослыми свободными бюргерами, из них только 38 женатых.