Первые серийные машины Т-35 поступили в 5-й тяжёлый танковый полк Резерва Главного Командования (РГК) в Харькове 12 декабря 1935 г. Этот полк был развёрнут в 5-ю отдельную тяжёлую танковую бригаду. Организационно она состояла из трёх линейных танковых батальонов одного учебного батальона боевого обеспечения и других подразделений. Приказом наркома обороны от 21 мая 1936 г. бригаду выделили в Резерв Главного Командования. Она предназначалась для усиления стрелковых и танковых соединений при прорыве особо сильных и заблаговременно укреплённых позиций противника.
В соответствии с этим назначением по специально разработанной АБТУ программе велось и обучение танкистов. Подготовка экипажей осуществлялась на специальных курсах, которыми руководили инженеры с ХПЗ. Кроме того, в 1936 г. в Рязани при 3-й тяжёлой танковой бригаде был создан учебный танковый батальон Т-35.
Эксплуатация машин первых выпусков (1933–1936 гг.) в войсках показала их весьма слабые тяговые характеристики. Так, по донесению командиров Т-35,
Помимо 5-й тяжёлой танковой бригады танки Т-35 поступали в различные военные учебные заведения. Так, по данным на 1 января 1938 г., в РККА имелся 41 танк Т-35, 27 — в уже упомянутой танковой бригаде, один — на Казанских бронетанковых курсах усовершенствования технического состава (КБТКУТС), два на НИБТ полигоне в Кубинке, один — в 3-й тяжёлой танковой бригаде в Рязани, один — при Военной академии моторизации и механизации (ВАММ) в Москве, один — в Орловской бронетанковой школе, один — на ЛБТКУКС (Т-35—1), один — в Ленинградской школе танковых техников, один — в Институте № 20 (с системой централизованной наводки) и пять — на ХПЗ.
До начала Великой Отечественной войны танки Т-35 не участвовали ни в каких боевых действиях. Упоминания в западных и некоторых отечественных изданиях об использовании этих машин в зимней войне с Финляндией не соответствуют действительности.
Не прошло и полугода, как «служебная карьера» Т-35 чуть было не завершилась. 27 июня 1940 г. в Москве состоялось совещание «О системе автобронетанкового вооружения Красной армии», на котором рассматривался вопрос о перспективных типах танков и о снятии с вооружения старых образцов. В отношении Т-35 мнения разделились. Одни считали, что их нужно переделать в самоходно-артиллерийские установки большой мощности (типа СУ-14), другие предлагали передать их танковому полку ВАММ и использовать для парадов. Но в связи с начавшейся реорганизацией танковых войск Красной армии и формированием механизированных корпусов Т-35 решили
В результате почти все машины оказались в 67-м и 68-м танковых полках 34-й танковой дивизии 8-го механизированного корпуса Киевского Особого военного округа.
В некоторых публикациях утверждается:
Увы, по моему мнению, создание Т-35, равно как и его собратьев (БТ, Т-26, Т-28 и др.), было следствием авантюристской стратегии маршала Тухачевского. Армады наших танков во главе с пятибашенным монстром должны были напугать «морально неустойчивого противника».