Вернувшись в Гамбург, из-за трудного материального положения семьи он поступил к одному торговцу и оставался у него до 1921 года. Потом работал у оптового торговца бумагой, а после — служащим на дрожжевой фабрике Христиансена во Фленсбурге, около датской границы. В 1923 году Оберг женился на Фриде Трамм, которая была на пять лет моложе его. В 1926 году молодая супружеская пара вернулась в Гамбург, где Оберг нашел работу в компании по оптовой продаже экзотических фруктов — «Вест-Индийской дочерней компании по сбыту бананов», а через три года перешел в должности концессионера в конкурирующую фирму по торговле экзотическими фруктами «Баньяк». Там он не добился успеха и спустя десять месяцев, осенью 1930 года, оказался без работы. Три с половиной миллиона безработных заполняли тогда улицы немецких городов. Карл Оберг был не из тех, кто впадал в отчаяние и вставал в очередь за бесплатной похлебкой. Получив небольшую ссуду от родственников, он открыл собственную табачную лавку в самом центре города, на Шауенбургер-штрассе — торговой улочке рядом с Ратхаусом, огромной и сверкающей огнями ратушей Гамбурга.
В это время Оберга уже коснулась нацистская пропаганда. Он жил в городе, который полностью зависел от морской торговли и испытывал на себе большее, чем любой другой город, воздействие экономического застоя. В июне 1931 года он вступил в НСДАП и получил партийный билет № 575 205. Через десять месяцев он стал членом СС и проявил там незаурядные организаторские способности. 15 мая 1933 года в Гамбург приехал Гейдрих, чтобы проинспектировать местную службу СД, которая только что организовалась. С некоторых пор Оберг внимательно присматривался к партийным службам безопасности. Он был представлен Гейдриху, который одобрил его кандидатуру.
Вступив в СД, Оберг превратился в довольно высокооплачиваемого функционера, и его денежные затруднения ушли в прошлое. 1 июля 1933 года он получил звание унтерштурмфюрера (младшего лейтенанта), был назначен в штаб Гейдриха и скоро стал одним из его ближайших сотрудников. Он последовал за ним в Мюнхен, когда туда в конце июля 1933 года была переведена служба, а затем в сентябре — в Берлин, где учреждалась центральная служба СД. Некоторое время спустя он стал начальником личного штаба Гейдриха в СД, потом — начальником службы поличному составу и занимал этот пост до ноября 1935 года. Находясь при Гейдрихе, он активно участвовал в чистке СА.
Оберг добровольно оставил СД для активной службы в СС, где командовал 22-м полком СС в Мекленбурге, получив звание штандартенфюрера (полковника), потом стал шефом IV отдела СС в Ганновере и в этой должности пробыл до декабря 1938 года. В январе 1939 года он был назначен президентом полиции в Цвиккау в Саксонии, а в апреле получил звание оберфюрера СС. Война не изменила его положения вплоть до сентября 1941 года, за исключением краткого промежутка. В апреле 1941 года Гиммлер назначил его временно исполняющим обязанности на важный пост президента полиции в Бремене, но местный нацистский князек, гаулейтер Кауфман имел на примете другую кандидатуру и столь решительно воспротивился назначению Оберга, что тот был возвращен в Цвиккау неделю спустя.
В сентябре 1941 года Оберг прибыл в Радом в Польше. Там он участвовал в уничтожении евреев и облавах для набора польской рабочей силы. С этого поста его направили в Париж; перед этим он получил чин «бригадефюрера и генерал-майора полиции», то есть бригадного генерала. Он быстро продвигался, ведь девятью годами ранее он был только младшим лейтенантом.
Ему было сорок пять лет, когда Гиммлер направил его во Францию. В то время это был человек в расцвете сил, рослый, нордического типа, розовощекий блондин, крепко сложенный, с небольшим животиком из-за пива, которое он поглощал в больших количествах. На удлиненном лице выделялись выпуклые серо-голубые глаза, которые выражали скорее не жестокость или жесткость, а некую терпеливую прилежность. Большие очки, длинный с горбинкой нос с заостренным, чуть приподнятым кончиком делали его, особенно в профиль, похожим на клоуна. Сквозь редкие светлые волосы просвечивала розовая кожа. На предыдущих работах он оставил о себе впечатление как человек уравновешенный и терпеливый, мягкий и добрый к подчиненным. Он был добропорядочным и степенным супругом, который только после тринадцати лет семейной жизни стал отцом: в 1936 году родился его первый ребенок, в 1941-м — второй, а в 1942 году он должен был стать отцом в третий раз.
Человек, избранный Гиммлером, мог быть добрым малым в стаде диких животных из гестапо и СС, если бы все не испортило одно его качество: Оберг был очень дисциплинированным.