Как уже отмечалось, поблизости от Духовщины, в селе
Семья Потемкиных иммигрировала в XVI в. из Польши или Литвы в Россию, где члены ее приняли Православие. Отец Г.А. Потемкина – Александр Васильевич Потемкин (1673–1746) служил в линейных войсках, участвовал во многих боевых операциях, имел тяжелые ранения, стал инвалидом, в звании майора в 55 лет вышел в отставку, имел имения с 439 душами крепостных в Смоленской и Пензенской землях. В Смоленскую губернию, где его ждала его немолодая жена Татьяна, он не поехал. Едва женившись на ней, он попал в армию и больше не видел жену, связей с ней не поддерживал. В пензенском своем именьишке Маншино, в гостях у соседей Скуратовых, он познакомился с юной вдовой мичмана (моложе его на 30 лет) Дарьей Васильевной Скуратовой (в девичестве Кондырева), потомственной дворянкой, владевшей достаточно большими имениями близ Костромы и Тулы. Он скрыл от нее, ее родственников и священника, что женат, назвался вдовцом и по большой страсти женился на Д.В. Скуратовой. Через 6 месяцев обман открылся, когда новая жена была уже беременной. Они уехали в Смоленскую губернию, в его имение Чижово. Первая жена, ждавшая его несколько десятилетий, в сложившихся обстоятельствах отпустила мужа, а сама ушла в монастырь.
Старый муж очень ревновал молодую жену. У них в Чижове всего родилось 6 детей: 5 дочерей и сын Григорий (Гриц). Единственный сын в Чижове поражал всех. Он не ползал, а раньше всех сроков сразу встал и начал бегать. Не сразу, но со временем обнаружили, что он вместе со щенками сосет молоко из сосков дворовой собаки (неудивительно, что здоровье он имел отменное), с четырех лет он любил незаметно влезать на деревья, устраивать там себе гнезда, прятаться от всех и пугать домашних своей пропажей. Гриц не любил обижавшего его отца, очень любил свою кроткую мать и сестер. Только в 5 лет он начал говорить. Научить Грица элементарной грамоте и арифметике не смогли ни пономарь, ни его отец, ни специально приглашенный учить его за деньги отставной артиллерии штык-юнкер. В 6 лет Гриц букв не знал, читать, писать, считать не умел, зато своей энергией и мальчишеским буйством удивлял всех в Чижове. По совету знатного московского родственника его матери, Григория Матвеевича Кисловского, Грица отправили учиться в местный Серпейский монастырь, где при хорошем отношении к нему игуменьи матери Фамарь (из рода князей Друцких-Соколинских) и других учителей он стал успешно учиться, все быстро понимал и осваивал. Вскоре умер его отец, мать забрала его и по совету своих родственников отправила учиться в Москву, Грицу было 7 лет.
Всю свою жизнь Г.А. Потемкин с любовью вспоминал Чижово, трепетно любил многочисленную и небогатую родню, прежде всего свою мать, сестер, их мужей и других родственников, всем щедро помогал, содействовал благополучию тех, кто был рядом с ним в годы его детства, был добр к ним. Например, всю жизнь он испытывал благодарность и сентиментальную привязанность к отцу Тимофею, который был священником в соседней маленькой деревянной церкви. Отец Тимофей смог заинтересовать озорного Грица христианскими добродетелями, поразил мальчика своим добрым отношением к нему и певческими способностями. Когда Потемкин стал влиятельным и знаменитым, отец Тимофей, уже бедный старик в потрепанном платье, пешком пришел к нему в Петербург, попал к нему на прием. Растроганный Потемкин сделал своего старого учителя первым стражем памятника Петру I, возведенного по приказу императрицы Екатерины II на Сенатской площади (1782). Старик заплакал от счастья, в безбедности и почете он доживал свой век. Потемкин сумел обеспечить себе, своим родственникам достойную жизнь и уважаемое положение в обществе. Далеко не последней предпосылкой для этого было его детство, проведенное в Чижове, где он, – как бы мы сказали сейчас, – родился и вырос в экологически благополучных условиях, укрепил свое здоровье, получил первые уроки жизненной мудрости.