Яков Петрович Реметев получил хорошее образование в доме отца в Москве и еще при его жизни записан в службу в лейб-гвардии Преображенский полк, в котором дослужился до чина капитана. В феврале 1798 года он перешел на статскую службу, был переименован из капитанов гвардии в надворные советники и определен в Коллегию иностранных дел. Переехав в Петербург, он поселился в Фонтанном доме, где по распоряжению графа Николая Петровича ему предоставили не только покои, но и стол, экипаж, деньги на расходы. Яков Петрович присутствовал при венчании графа Николая Петровича и Прасковьи Ивановны, а потом и на ее похоронах.
На службе Я.П. Реметев получил чин действительного статского советника, который давал права потомственного дворянства по его собственным заслугам. Он добивался от графа Николая Петровича собственного недвижимого имения, и в 1798 году за ним было утверждено имение его умершей старшей сестры Александры Кучецкой. В 1804 году, в присутствии свидетелей, князя А.Н. Щербатова, Д.П. Трощинского и М.И. Даноурова, он получил от брата документ на право владения имением в Орловском уезде, насчитывающем около тысячи душ, и капитал, что обеспечивало ему годовой доход более 10 тысяч рублей.
В июне 1811 года Яков Петрович женился на дворянской девице Аграфене Алексеевне Тиньковой, в 1812 году родился их сын Петр. Однако через два с половиной года после свадьбы, в декабре 1813 года, Аграфена Алексеевна скончалась, похоронили ее на Смоленском православном кладбище.
После женитьбы он выехал из Фонтанного дома. В 1830-х годах он имел собственный дом в 4-й Адмиралтейской части, на набережной реки Пряжки, между Матисовым и Банным мостами, и дачу по Выборгской дороге.
Яков Петрович Реметев пережил супругу почти на тридцать лет. Он имел внебрачных дочерей – Софью, Анну и Надежду Яковлевых, фамилия которых образована от имени их отца. Его законный сын, в соответствии с духовным завещанием отца, должен был выплачивать своим единокровным сестрам пенсию в размере тысячи рублей серебром в год. Яков Петрович Реметев скончался в апреле 1842 года, на 68-м году жизни, и погребен рядом с женой на Смоленском православном кладбище.
Петр Яковлевич Реметев унаследовал орловское имение своего отца – на 1860 год в сельце Аггеевке и трех деревнях ему принадлежало около 900 ревизских душ крестьян. Его сын Александр Петрович в конце XIX века жил преимущественно в Орле. Автору неизвестно, сохранялись ли связи этих поколений Реметевых с графским семейством.
Бароны Истровы
Внебрачные дети, или «воспитанники», как их официально именовали, были и у самого графа Николая Петровича Шереметева. Выше шла речь об Александре Николаевне Реметевой, родившейся в апреле 1782 года. «Воспитанником» графа Николая Петровича звался и Иван Якимов, который родился в январе 1780 года и умерший в Петербурге в марте 1804 года. Граф Николай Петрович похоронил его на Лазаревском кладбище Александро-Невской лавры, близ могил своих родственников. Был ли он сыном графа – неизвестно.
Через некоторое время после смерти графини Прасковьи Ивановны в жизнь графа Николая Петровича вошла другая женщина – Елена Семеновна Казакова. Она также была артисткой шереметевского крепостного театра и после переезда графа Николая Петровича в Петербург оказалась в числе немногих, кого он взял с собой. Алена Казакова, как ее называли близкие люди, в 1803 году была определена в няни к маленькому графу Дмитрию Николаевичу. Она родила Николаю Петровичу троих сыновей. О том, что у законного сына графа имелись единокровные братья, которые росли с ним под одной крышей, знали многие.
Среди колоссального массива документов родового архива Шереметевых в Российском государственном историческом архиве хранится комплекс дел, позволяющих обстоятельно познакомиться с этой семьей «Шереметевых с левой руки».
Старший мальчик, Николай, родился 13 июля 1805 года, умер 30 октября 1811 года. Сергей родился 30 ноября 1806 года и скончался после 1880 года. Самый младший, Александр, родился 1 марта 1809 года, уже после кончины графа Николая Петровича, дата его смерти также остается пока невыясненной. При крещении младенцев они поименованы незаконнорожденными, но восприемником всех троих от купели по желанию отца стал малолетний граф Дмитрий Николаевич.