Между тем и русскому отряду приходилось очень плохо при изолированном положении, в плохих гигиенических условиях. Зима прошла для солдат среди невозможных лишений. Многие умирали и почти все повально болели. В сильнейшей степени ощущалось отсутствие медицинской помощи. В мае 1832 года командующий Геленджикским отрядом просил командующего Черноморской береговой линией исходатайствовать мясную порцию для отряда. Солдаты были крайне изнурены непосильными работами при тяжелой обстановке и скудной пище, «последствием чего было непомерное число больных и умерших, несмотря на то, что полки прибыли в Геленджик в цветущем состоянии здоровья». Тогда же, в мае, полковник Свенховский просил генерала Берхмана исходатайствовать устройство госпиталя в Геленджике хотя бы на 100 коек. Больных приходится отправлять морем в Анапский госпиталь, и от качки они умирают преждевременно. Из 52 больных, отправленных в Анапу, 20 человек умерли в пути, а отправлены больные в Анапу единственно потому, что в Геленджике не было свежей говядины.
Необходимо было также подчинить начальнику Геленджикского отряда, в отношении посылки, суда, командированные в Геленджикскую бухту. В противном случае начальник отряда просил снять с него всякую ответственность как за задержку срочных бумаг, так и за несвоевременную перевозку грузов для Геленджика.
С наступлением лета работы по возведению Геленджикского укрепления начались, однако, не сразу. Некому было работать. В Геленджик ожидались войска. Полковник Свенховский писал 6 июля 1832 года генералу Берхману, что высадившиеся в укрепление полки занялись только с 28 июня вырубкой и очисткой леса для крепости и эспланад. Солдатам некогда было работать. Зимой требовалось особенно много дров для отопления солдатских помещений, крайне сырых от постоянной течи, и на добывание дров уходила масса времени. В таких помещениях солдаты повально болели лихорадкой и цингой от сырости и плохого питания. За работы солдатам выдавалось по 10 коп. ассигнациями в сутки, но этих денег было так мало, что они не могли даже подновлять истрепанной одежды. Плохо было не только солдатам, но и офицерам. Сам комендант полковник Чайковский 22 июня 1832 года просил у начальства разрешения построить ему, как тяжелораненому и обремененному семьей, комендантский дом в крепости, с обязательством перенесения и перестройки его на свой счет, если перенесена будет крепость. Как видно из донесения того же Чайковского от 1 июля барону Розену, постройка крепости в Геленджике велась с таким расчетом, чтобы в ней могло поместиться 1000 чел. пехоты и 18 орудий; чтобы профиль был рассчитан на пушечные выстрелы; рвы одеты камнем и устроены были, если можно, передовые укрепления; чтобы по отношению к окрестностям крепость занимала командующее положение и чтобы рвы были наполнены водой и снабжены шлюзами. Условия эти, однако, не удалось осуществить на практике. Укрепление было расположено на единственном месте, изобиловавшем превосходными пресными водами, но это было не господствующее над окрестностями место. Поэтому инженер Жданов, планировавший крепость, чтобы закрыть ее от выстрелов, поднял выше крепостной вал и бруствер, построил кавальеры для наблюдения за неприятелем и траверс до 35 футов высотой, которым защищались бы тыльные части крепости.
С постройкой Геленджика окрестные горцы переселились в более отдаленные места и приняли крайне враждебное положение по отношению к русским, по-прежнему не выказывая ни малейшего желания к сближению с ними и запрещая что-либо поставлять в укрепление под угрозой жестокого наказания и разорения провинившихся. Между тем, при занятии Геленджика леса, годного для постройки, не было ближе двух верст от крепости. Окрестности были покрыты кустарником, терном и держидеревом. Сено трудно было добывать. Только в июле солдаты, большей частью под перестрелкой с горцами, успели выкосить, на расстоянии до трех верст около крепости, и сложить внутрь укрепления до 4000 пудов сена; а съестных продуктов совсем неоткуда было достать. Таким образом, солдаты, терпя нужду во всем, плохо справлялись и с работами.
Наконец, в декабре 1832 года Вельяминову было отпущено на постройку Геленджикского укрепления 40 тыс. ассигнациями. На постройку укрепления назначено было 10 рот пехоты и одна артиллерийская Козловского и Нашенбургского полков. Зимой работы были приостановлены до весны. Это было на руку Вельяминову, таившему в глубине души надежду на постройку крепости в Новороссийске, а не в Геленджике.