Одновременно с этим быстрым и успешным распространением власти московского царя на Востоке и Юго-Востоке, были приняты новые меры защиты от набегов крымского хана. Вдоль всей южной степной окраины государства выстроен был ряд укреплений, сторожевых городов (так называемых сторожевых линий), а эти городки были заселены ратными людьми, обязанными нести на себе тяжкую сторожевую службу и наблюдать в степи за движением хищников.
В этот блестящий и деятельный период царствования Иоанна, он был чрезвычайно огорчен тем неприязненным и даже прямо враждебным отношением, какое демонстрировала по отношению к Московскому государству Ливония. Не следует забывать, что во второй половине XVI века вся западная граница была закрыта для прямых сношений Руси с Западной Европой. Такие сношения были возможны только через литовско-польские владения, где полностью зависели от разрешения короля и воли сейма, или же через Ливонию, так как никаких гаваней на Балтийском море у Московского государства не было. А между тем, Ливония, опасаясь того, что западное просвещение придаст еще больше силы и без того уже могущественному Московскому государству, старалась всеми силами препятствовать этим сношениям Руси с Западом, не пропуская иноземцев в Россию, и действовала при этом нагло вызывающим образом.
Особенно явно проявилась враждебность Ливонии в 1547 году, когда Иоанн отправил в Германию саксонца Шлитте с поручением – пригласить в Москву всяких мастеров, художников и ученых. Шлитте исполнил поручение добросовестно, но ливонское правительство не пропустило иностранцев в Москву. Когда же один из них, несмотря на запрещение, попытался перейти границу, ливонцы его нагнали и казнили. Иоанн не забыл этой обиды и, управившись на Востоке с Казанью и Астраханью, обратил оружие против Ливонии, решившись утвердиться на берегах Балтийского моря.
Предлогом к войне послужила неуплата дани, которую Дерптский епископ, по прежним договорам, обязался платить Московским князьям. Договор, умышленно или неумышленно, был забыт епископом и Иоанн потребовал уплаты всей накопившейся дани в определенный срок. Когда она в срок не была уплачена, Иоанн двинул сильное войско в Ливонию, овладел 20 городами (в том числе Нарвой и Дерптом) и страшно опустошил страну.
Магистр Ливонского ордена, Кетлер, не мог и думать о борьбе с Иоанном, а потому обратился с мольбами о защите и помощи к трем соседним государствам: Дании, Швеции и Польше. Первые два не решились вступиться за Ливонию, а польский король Сигизмунд Август заключил с ней оборонительный и наступательный союз (1559 г.), так как сам имел виды на Ливонию. Но Кетлер ничего не выиграл от этого союза, потому что король польский не спешил защитить Ливонию и спокойно смотрел на быстрые военные успехи русских. Увидев это, Кетлер решился прибегнуть к последнему средству, чтобы сохранить за собой хоть часть владений ордена. Для этой цели он уговорил эстляндское дворянство отдаться под покровительство Швеции, Лифляндию просто уступить польскому королю в полное владение, а за собой оставил только Курляндию, признав ее зависимость от Польши. В то же время он продал остров Эзель датскому королю. Этим хитрым маневром он уклонился от непосредственной войны с Московским государством, вовлекая его в войну с тремя государствами, которым так легко и дешево достались их права на новые владения.
Увлеченный своими успехами Иоанн решился принять навязываемую ему войну со Швецией и Польшей, и даже сам начал войну с Сигизмундом. В 1553 году он вступил в Литву с сильным войском и множеством пушек. Здесь он осадил и взял город Полоцк, очень важный пункт и в торговом, и в военном смысле. Хотя примерно в это время Сигизмунду удалось одержать победу над русскими воеводами при городе Орше, однако он не мог вознаградить себя за потерю Полоцка и предложил мир Иоанну на самых выгодных условиях для Московского государства. Сигизмунд уступал Иоанну все города и земли, занятые русскими войсками в Ливонии, и хлопотал только о возвращении Полоцка.
Но Иоанн не захотел и слышать о мире, тем более, что в это время ему удалось сблизиться с Данией (при помощи брачного союза между датским принцем Магнусом и племянницей Иоанна). Он намеревался образовать из Ливонии отдельное королевство, зависимое от Московского государства, а Магнуса посадить в нем королем. С такими планами на будущее Иоанн заключил с Польшей не мир, а только перемирие на три года. Однако обширным планам Иоанна не суждено было сбыться, потому что в Польше в течение этого времени произошли важные события, а внутри Московского государства последовал целый ряд весьма печальных перемен в отношениях Иоанна к своим приближенным и к среде, его окружавшей.