В назначении Петра Александровича адъютантом к Н. Н. Муравьеву большую роль сыграл Святитель Игнатий. «Писал я Вам также о Петре, — сообщал он отцу 23 июля 1834 г., — что хлопочу о помещении Петра в штабе первой армии; ибо хлопотать о переводе его в гвардию мне было б очень трудно. При сем открывается для него выгоднейший случай. В намерении поместить его в штаб 1-й армии писал я письмо к генерал-адъютанту Муравьеву вместе с его братом, здесь служащим в Синоде. Ответ Муравьева ко мне и к брату при сем прилагаю. Кажется, самая судьба представляет сему офицеру решительный оборот в службе и Вам случай довершить Ваши благодеяния. На короткое время усилив Ваши вспомоществования, Вы приведете его в состояние совсем не нуждаться в Вашей помощи. Притом перевод его в гвардию и экипировка гвардейская никак менее бы не стоила. Муравьев редкий человек, по своим правилам строгий христианин и по службе употребляется в важных обстоятельствах: например, послан был в Египет для переговоров с Пашою, потом командовал отрядом, посланным на помощь турецкому султану против Ибрагима. Что Вы относительно сего рассудите, сделайте милость, по первой же почте меня уведомить, дабы я мог соответственно Вашему предписанию распорядиться».
Совместная служба Петра Александровича с Николаем Николаевичем длилась недолго, но оставила отпечаток на всю их жизнь. До самой кончины Н. Н. Муравьева-Карского Петр Александрович испытывал к нему сыновнюю почтительность и любовь, чему свидетельством являются более 150 его писем. Через год Петр Александрович переводится в капитаны, затем в майоры, и в 1847 г. — он подполковник. В марте 1848 г., устав от военной службы и разногласий с начальством, он выходит в отставку. Однако оставаться не у дел ему не позволяет материальная необеспеченность. Он пробует свои силы на разных поприщах, и, наконец, 16 декабря 1852 г. Высочайшим указом назначается Костромским вице-губернатором; через три года его переводят на ту же должность в Ставрополь. 26 января 1856 г. он пишет Н. Н. Муравьеву: «По призыву старика родителя моего и брата О. Игнатия, освободившись от службы в Костроме 30 ноября, я заезжал в Вологду и Петербург проститься с ними и 25 декабря выехал из Костромы в Ставрополь». 1 августа 1859 г. Высочайшим Указом он назначается на должность Ставропольского губернатора. Вскоре после ухода Святителя Игнатия на покой, он также подает в отставку, переезжает к брату в Николо-Бабаевский монастырь и поселяется там в положении послушника.
Сохранившиеся письма Петра Александровича к Н. Н. Муравьеву-Карскому охватывают 30-летний период. Они так часты и так подробны, что позволяют в деталях проследить его жизненный путь, его участие в сражениях и смотрах, взаимоотношения с известными в нашей истории людьми, имена которых мелькают в его письмах, его личные радости и горести. К числу последних относится история его женитьбы, о которой очень мало знали даже его родные. 19 января 1841 г. он пишет Николаю Николаевичу: «Вы не ожидаете известия, которое несет Вам это письмо. Радость моя не может не быть услышана Вами без удовольствия, за это участие ручается мне сердце мое. Ваш Брянчанинов сосватался и, если Бог поможет, на днях будет играть свадьбу. Ольга Сергеевна Левшина, моя невеста, приезжала с отцом своим, уволенным от службы Артиллерии полковником, повидаться с дядей своим, нашим Левшиным, во время квартирования последнего в Алешнах. Как ближайший сосед, тогда я часто бывал там и, найдя в девушке наружность приятную, образование равное с моим, ум живой и, что дороже всего, твердые правила Православного исповедания, решился, помолясь, сделать предложение, принятое дочерью и утвержденное отцом».
В этот же день он пишет жене Николая Николаевича, Наталье Григорьевне: «…Я не останавливаюсь сделать Вам краткий очерк девушки, в которой сосредоточены теперь все мои надежды счастия, все ожидания мои. Ольга Сергеевна Левшина имеет от роду 20 лет, росту маленького, брюнетка, прекрасные глаза, лоб большой и римский нос; она не красавица, но для меня мила и даже кажется прехорошенькая, манеры не вычурные и вообще обращение простое, благородное…»
Через год у них родилась дочь Мария, но прожила она всего полгода. Еще через полтора года родился сын Алексей: «Жена у меня такая домоседка, что никуда, кормит сына и тем только и тешится».
Их брак длился менее пяти лет; 15 декабря 1845 г. Петр Александрович пишет: «…до сего времени не могу сам верить случившемуся, не могу вспомнить происшедшего в этот, по счислению человеческому, короткий срок; я — вдовец с двумя малолетками, из которых последнему 9 месяцев. Ольга кормила его последний раз 20-го ноября, за 5 дней до смерти, случившейся 26-го ноября в 6-м часу утра… потеря невозвратимая и неожиданная; …умерла сном праведной, в воздаяние ее лишений и трудов, понесенных при кормлении детей, ей было 25 лет! …я бежал из деревни».