Карамзин не отличался крепким здоровьем. С годами недомогания становятся серьезнее. Летом 1805 года он проболел два месяца, в сентябре писал брату: «Вообразите, что с исхода июля по сей час я не принимался за перо для продолжения своей Истории; и теперь еще не пишу. Это мне прискорбно; но я радуюсь своим выздоровлением, как ребенок. В некоторые минуты болезни казалось мне, что я умру, и для того, несмотря на слабость, разобрал все книги и бумаги государственные, взятые мною из разных мест, и надписал, что куда возвратить. Ныне гораздо приятнее для меня снова разобрать их. Жизнь мила, когда человек счастлив домашними и умеет заниматься без скуки».
Отстав от светской жизни, Карамзин сузил круг общения, но все же этот круг был достаточно широк и, главное, состоял из людей интересных, мыслящих, творческих. Поселившись в доме князя А. И. Вяземского, он ввел на его вечера своих друзей-литераторов. П. А. Вяземский вспоминает: «Со вступлением Карамзина в семейство наше — русский литературный оттенок смешался в доме нашем с французским колоритом, который до него преодолевал. По возвращении из пансиона нашел я у нас Дмитриева, Василия Львовича Пушкина, юношу Жуковского и других писателей».
Занявшись «Историей…», Карамзин перестал писать стихи. После 1803 года им были написаны и опубликованы всего два стихотворения. Первое из них — «Песнь воинов» — относится к 1806 году. Оно создано после неудачной войны 1805 года, которую вела против Наполеона коалиция Англии, России, Австрии, Швеции и Неаполя. В сражениях этой войны — под Шенграбеном, при Аустерлице — русские солдаты и военачальники проявили чудеса храбрости, но война была проиграна из-за бездарности союзного командования и прямого предательства австрийцев, заключивших сепаратный мир. Армия возвращалась в Россию с конфузней. После суворовских побед над наполеоновскими войсками в Италии и Швейцарии кампания 1805 года воспринималась русским обществом особенно остро. В это время Карамзин и пишет стихотворение «Песнь воинов», выражающее веру в силу русской армии и в ее победу в будущих сражениях:
Это стихотворение при тогдашних обстоятельствах не могло быть напечатано: между Францией и Россией велись официальные переговоры, причем обе стороны знали, что противоположная сторона готовится к военным действиям. «Песнь воинов» распространилась по России в рукописных копиях.
П. А. Вяземский тогда учился в пансионе в Петербурге; Карамзин прислал ему экземпляр «Песни воинов». «Эта посылка, — вспоминает Вяземский, — меня очень возвысила в глазах моих товарищей».
В апреле 1807 года умер князь Андрей Иванович Вяземский. Сообщая об этом брату, Карамзин писал: «Последняя воля незабвенного князя состояла в том, чтобы жена моя и княжна жили вместе до замужества последней и чтобы я имел попечение о сыне его пятнадцатилетием до его совершенного возраста. Опекунами для имения назначены другие. Князь, по завещанию, отказал Катерине Андреевне 800 душ нижегородских с условием, чтобы она взяла на себя около 35 000 р. долгу. Завещание послано к государю, ибо в нем есть обстоятельства, требующие его утверждения. Ответа еще нет, а, вероятно, и долго не будет по нынешним государственным хлопотам. Мы живем все вместе и составляем одно семейство».
«Люблю его, как брата, и нахожу достойным: он умен и старается приобретать знания» — так характеризовал Карамзин оставленного его попечению князя Петра Вяземского в письме Дмитриеву. Но опека легла на Карамзина нелегким грузом: молодой Вяземский доставлял ему немало хлопот.
В 1805 году, видя, что домашнее обучение не дает достаточных результатов, князь Андрей Иванович отправил сына в Петербург в иезуитский пансион, славившийся серьезностью образования и воспитания. Перед отъездом Андрей Иванович вызвал сына и продиктовал ему его характеристику, объясняющую, почему князю Петру следует стать воспитанником отцов-иезуитов: «Вы не лишены ни ума, ни известного развития, но ветреность Вашего характера делает то, что Вы отвлекаетесь всем, что Вас окружает, сколь бы ни было это незначительным и ничтожным. Леность Вашего ума, это вторая причина Вашего невежества, заставляет Вас скучать и испытывать отвращение к изучаемым Вами предметам в тот момент, когда они требуют особого внимания и прилежания. Пустота и бессодержательность Вашего времяпрепровождения после классов — третья причина Вашего невежества: или Вы повсюду слоняетесь, как дурачок, или Вы занимаетесь такими пустяками, как пускание змея, или другими детскими игрушками. Даже если Вы и берете книгу, то это лишь от скуки и от нечего делать. Старые газеты или серьезное сочинение — это для Вас безразлично, Вы читаете все, что первым попадается под руки».