В 30-е годы Ворошилов все более подпадает под влияние и власть Сталина. В это время он входил в самое ближайшее окружение Сталина и считался его интимным другом. Они сидели вместе в президиумах различных совещаний, стояли рядом на трибуне Мавзолея, вместе бывали на охоте, отдыхали, на юге, проводили время на даче Сталина и в его квартире в Кремле. Довольно часто Сталин и Ворошилов посещали Горького, окончательно вернувшегося в СССР. Как-то Алексей Максимович прочел им свою сказку «Девушка и смерть». На последней странице текста сказки Сталин сделал надпись: «Эта штука сильнее, чем «Фауст» Гете
Несколько раз Ворошилову приходилось выезжать за границу. На устраиваемых там приемах Климент Ефремович не танцевал – не умел. Военный офицер, который не умеет танцевать, производил на Западе странное впечатление. По инициативе Ворошилова в многочисленных Домах Красной Армии, которые создавались почти во всех крупных городах, и в командирских клубах в военных городках было введено обучение командиров современным европейским танцам, столь презираемым в 20-е годы комсомольской молодежью.
Конечно, гораздо важнее, чем введение танцев в армейский быт, было интенсивное техническое перевооружение Красной Армии, начавшееся в начале 30-х годов одновременно с форсированной индустриализацией страны. Партия не скрывала, что развитие военной промышленности и максимальное техническое оснащение армии и флота – одна из главных задач первой и второй пятилеток. Еще до 1930 года Красная Армия имела главным образом то оружие, которое досталось ей со времен первой мировой и гражданской войн. В следующие четыре года Красная Армия получила большое количество новых танков, артиллерии, средств связи, химической техники. Особенно большая забота была проявлена по отношению к Военно-Воздушным Силам, включая бомбардировочную авиацию и самолеты других типов. Был увеличен и модернизирован Военно-Морской Флот. Выступая на XVII съезде партии, Ворошилов утверждал, что Красная Армия к началу 1934 года технически оснащена лучше, чем французская и американская армии, и более механизирована даже, чем английская армия, которая считалась тогда лучшей в мире по техническому оснащению.
Культ Ворошилова после XVII съезда партии еще более возрос. В это время имена «вождей» присваивались многим городам и селам. Город Луганск был переименован в Ворошиловград. Крупный город на Северном Кавказе Ставрополь, входивший тогда в Орджоникидзевский край, был переименован в Ворошиловск (прежнее название возвращено городу в 1943 году, когда на Северном Кавказе началась новая волна переименований). Еще несколько городов и поселков в разных частях страны стали носить имя Ворошилова. Появились заводы, колхозы и горные вершины имени Ворошилова. Лучшие стрелки получали почетное звание «Ворошиловский стрелок». Тяжелый советский танк «KB» был назван так в честь Ворошилова. В одной из областей деревня Остолопово и Остолоповский сельсовет были переименованы в деревню Ворошилове и Ворошиловский сельсовет.
Между тем управление и техническое оснащение Красной Армии в 30-е годы усложнялось, и Ворошилов уже не справлялся с решением сложных проблем военного строительства. В РВС часто возникали разногласия, тем более что Ворошилов и Буденный продолжали преувеличивать роль крупных кавалерийских соединений в будущей войне, тормозя мотомеханизацию армии.
Перемены были необходимы. В 1934 году Наркомат по военным и морским делам был преобразован в Наркомат обороны. Одним из заместителей Ворошилова стал М. Н. Тухачевский. В книге Лидии Норд о Тухачевском приводится такой отзыв о Ворошилове:
Однако переход Красной Армии к механизированным частям и соединениям надолго задержался. Даже в 1938 году Ворошилов все еще утверждал: