В Петербурге карьере Иоффе препятствовало еврейское происхождение (хотя он и принял лютеранство, чтобы вступить в брак со своей первой женой), а также сложившаяся система образования. Степень доктора философии немецких университетов здесь не признавалась, и Иоффе был вынужден принять предложение Политехнического института работать в должности лаборанта. Но он мог продолжать свои исследования и читать лекции, благодаря чему вскоре заявил о себе в российской физике и привлек способных студентов. В 1913 году он стал профессором Политехнического института, а еще через два года Академия наук присудила ему премию за исследования магнитного поля катодных лучей.
Иоффе был настроен против царского режима, но, как и большинство русских ученых, относился к большевикам с осторожностью и в 1918 году уехал из Петербурга в Крым. Вскоре, однако, он решил «связать свою судьбу со страной Советов и в сентябре вернулся в Петроград, где стал одним из первых ученых России, оказавших поддержку советскому правительству.
Даже на ранних этапах научной карьеры Абрама Иоффе можно заметить особенности, которые позднее стали характерными для целой школы в советской физике. Он придавал большое значение узам, которые связывали его с Германией, и практически каждый год, вплоть до начала Первой мировой войны, проводил некоторое время в Мюнхене. Иоффе научился у Рентгена работать с молодежью и передавать ей интеллектуальный энтузиазм. В 1916 году он организовал семинар по новой физике в своей лаборатории в Политехническом институте. Среди одиннадцати постоянных участников этого семинара двое, Пётр Леонидович Капица и Николай Николаевич Семёнов, позднее стали лауреатами Нобелевской премии. Некоторые другие, такие как Яков Ильич Френкель и Пётр Иванович Лукирский, тоже в дальнейшем получили всемирную известность.
Участники этого семинара и составили ядро «первого большевистского» института. Абрам Иоффе стал не только его президентом, но и возглавил Физико-технический отдел. Однако вскоре между ним и Михаилом Немёновым возникли разногласия по поводу путей развития института. В результате в 1921 году институт разделился на три части, причем Физико-технический его отдел превратился в Государственный физико-технический рентгенологический институт.
Другой причиной выделения Физико-технического отдела в особый институт стала необходимость создания условий для серьезных научных исследований. Абрам Иоффе писал Паулю Эренфёсту, который к этому времени стал профессором Лейденского университета:
Помимо Физико-технического отдела из Государственного рентгенологического и радиологического института выделился Радиевый институт, который в январе 1922 года возглавил Владимир Вернадский, вернувшийся в Петроград из Крыма. Институт был сформирован путем объединения всех имевшихся к тому времени радиологических учреждений: Радиевой лаборатории Академии наук, Радиевого отделения Государственного рентгенологического и радиологического института, Радиохимической лаборатории и Коллегии по организации радиевого завода.
Владимир Вернадский очень широко определял задачи новой научной организации. «Радиевый институт, – писал он, – должен быть сейчас организован так, чтобы он мог направлять свою работу на овладение атомной энергией». При этом Вернадский проницательно разглядел опасность, которую может повлечь за собой подобная технология. В феврале 1922 года он писал: