В конце 20-х годов Ворошилов еще сохранял черты самостоятельной личности. В 1928–1929 годах, когда Сталин развернул наступление на крестьянство, Ворошилов на заседаниях политбюро иногда высказывал сомнения относительно такой политики. Он опасался, что недовольство крестьянства отразится на боеспособности Красной Армии, укомплектованной главным образом за счет крестьянской молодежи. Слухи о расхождениях Ворошилова со Сталиным были, однако, настолько преувеличены, что находящийся в ссылке Троцкий в некоторых из своих писем говорил о возможности восстания крестьянства против Сталина под руководством Ворошилова и Буденного.
Когда И. Бабель написал в 1926 году знаменитый цикл рассказов «Конармия», Буденный был разгневан и обвинил его в клевете. Неприязненно встретила очерки Бабеля и современная ему критика. Однако не только А. М. Горький, но и Ворошилов встали тогда на защиту писателя.
В 30-е годы Ворошилов все более подпадает под влияние и власть Сталина. В это время он входил в самое ближайшее окружение Сталина и считался его фаворитом. Они сидели вместе в президиумах различных совещаний, стояли рядом на трибуне Мавзолея, вместе бывали на охоте, отдыхали на юге, проводили время на даче Сталина и в его квартире в Кремле. Довольно часто Сталин и Ворошилов посещали Горького, окончательно вернувшегося в СССР. Как-то Алексей Максимович прочел им свою сказку «Девушка и смерть». На последней странице текста сказки Сталин сделал надпись: «Эта штука сильнее, чем „Фауст“ Гете (любовь побеждает смерть). 11.Х.31». На следующей странице Ворошилов написал и свой отзыв: «От себя скажу, я люблю М. Горького, как моего и моего класса писателя, который духовно определил наше поступательное движение».
Несколько раз Ворошилову приходилось выезжать за границу. На устраиваемых там приемах Климент Ефремович не танцевал — не умел. Военный офицер, который не умеет танцевать, производил на Западе странное впечатление. По инициативе Ворошилова в многочисленных домах Красной Армии, которые создавались почти во всех крупных городах, и в командирских клубах в военных городках было введено обучение командиров современным европейским танцам, столь презираемым в 20-е годы комсомольской молодежью.
Конечно, гораздо важнее, чем введение танцев в армейский быт, было интенсивное техническое перевооружение Красной Армии, начавшееся в начале 30-х годов одновременно с форсированной индустриализацией страны. Партия не скрывала, что развитие военной промышленности и максимальное техническое оснащение армии и флота — одна из главных задач первой и второй пятилеток. Еще до 1930 года Красная Армия имела главным образом то оружие, которое досталось ей со времен Первой мировой и Гражданской войн. В следующие четыре года Красная Армия получила большое количество новых танков, артиллерии, средств связи, химической техники. Особенно большая забота была проявлена по отношению к Военно-Воздушным Силам, включая бомбардировочную авиацию и самолеты других типов. Был увеличен и модернизирован Военно-Морской Флот. Выступая на XVII съезде партии, Ворошилов утверждал, что Красная Армия к началу 1934 года технически оснащена лучше, чем французская и американская армии, и более механизирована даже, чем английская армия, которая считалась тогда лучшей в мире по техническому оснащению.
Культ Ворошилова после XVII съезда партии еще более возрос. В это время имена вождей присваивались многим городам и селам. Город Луганск был переименован в Ворошиловград. Крупный город на Северном Кавказе Ставрополь, входивший тогда в Орджоникидзевский край, был переименован в Ворошиловск (прежнее название возвращено городу в 1943 году, когда на Северном Кавказе началась новая волна переименований). Еще несколько городов и поселков в разных частях страны стали носить имя Ворошилова. Появились заводы, колхозы и горные вершины имени Ворошилова. Лучшие стрелки получали почетное звание «Ворошиловский стрелок». Тяжелый советский танк «КВ» был назван так в честь Ворошилова. В одной из областей деревня Остолопово и Остолоповский сельсовет были переименованы в деревню Ворошилове и Ворошиловский сельсовет.
Между тем управление и техническое оснащение Красной Армии в 30-е годы усложнялось, и Ворошилов уже не справлялся с решением сложных проблем военного строительства. В РВС часто возникали разногласия, тем более что Ворошилов и Буденный продолжали преувеличивать роль крупных кавалерийских соединений в будущей войне, тормозя мотомеханизацию армии.
Перемены были необходимы. В 1934 году Наркомат по военным и морским делам был преобразован в Наркомат обороны. Одним из заместителей Ворошилова стал М. Н. Тухачевский. В книге Лидии Норд о Тухачевском приводится такой отзыв о Ворошилове: