Чрезвычайно интересной личностью был и отец Федора Семеновича Семен Михайлович Аргунов (1685–1687 — около 1766). Он родился в Останкине и в начале XVIII века переехал вместе со своим хозяином князем А. М. Черкасским в Петербург, где до конца жизни был управляющим Миллионного дома — дворца Черкасских на Миллионной улице. Когда в 1747 г. владельцем дома стал женившийся на В. А. Черкасской П. Б. Шереметев, Аргунов вместе с другими служителями вошел в число его крепостных. Прекрасно разбиравшийся в вопросах дворцового хозяйства, успешно выполнявший многочисленные поручения своих владельцев, С. М. Аргунов, по-видимому, со временем завоевал себе достаточно прочное положение и даже нажил небольшой капитал. Об этом свидетельствует тот факт, что в конце 1750-х годов он имел на Петроградской стороне собственный дом и слуг — случай среди крепостных исключительный. Все это говорит о том, что отец Федора Семеновича был человеком незаурядного ума и энергии. Подобными же качествами отличалась и его мать Анна Яковлевна Аргунова (умерла в 1773 г.)
Аргуновы много времени отдавали семье. Кроме- сына Федора и дочери Мавры они воспитывали двух рано осиротевших племянников — Ивана, ставшего впоследствии известным портретистом, и Федора, также работавшего как живописец. Дети были окружены заботой и вниманием, что вместе со всей домашней обстановкой, где преобладала атмосфера трудовой деятельности, оказывало на будущих художников хорошее влияние., помогало им в приобретении знаний и практических навыков своей профессии. С. М. Аргунов, относившийся к привилегированной части графской дворни, стремился дать сыну и племянникам возможное в этих условиях образование. Именно он обратил внимание П. Б. Шереметева на их талант. Федор, согласно установившемуся правилу отдавать крепостных на выучку к столичным мастерам, был определен учеником к С. И. Чевакипскому.
Савва Иванович Чевакинский (1713 — между 1774–1780) относится к числу наиболее выдающихся русских архитекторов середины XVIII века. Один из авторов царскосельского ансамбля, строитель Никольского военно-морского собора в Петербурге, этот зодчий оставил заметный след в архитектуре русского барокко. Вероятно, именно у него Федор Аргунов перенял любовь к простым логичным планам, четко построенным фасадам, наделенным выразительными пластичными декоративными деталями.
С. И. Чевакинский в своей педагогической работе не отделял теоретических занятий от архитекторской и строительной практики. Здесь чередовались составление смет и разработка проектов, приемка строительных материалов и исполнение чертежей. Это давало возможность молодому зодчему почувствовать масштаб сооружения и отдельных его частей, ощутить еще не осуществленный проект в полном его объеме.
В 1750–1755 гг. Чевакинский строил для Шереметевых дворец на набережной реки Фонтанки. Вместе с ним работал и Федор Аргунов. Это была его первая большая творческая работа.
Еще в 1712 г. большой участок на берегу Фонтанки, соседний с Итальянским дворцом Екатерины I, был отведен фельдмаршалу Б. П. Шереметеву "на дворовое строение". В те времена это была загородная местность, и правительство, раздавая здесь земли, стремилось застроить и укрепить берега речки Ярика, как тогда называли Фонтанку. Однако фельдмаршал строительством не занимался — при нем в 20-х годах был построен лишь небольшой деревянный дом. В 1730 — 1740-х годах сын фельдмаршала граф П. Б. Шереметев задумал устроить здесь большую усадьбу с дворцом, садом, павильонами и хозяйственными постройками. Уже в эти годы на месте старого деревянного был выстроен каменный одноэтажный дом, послуживший основанием для нового дворца. Вероятно, именно в эти годы Шереметев заказал Чевакипскому проект усадьбы. Строительство же растянулось на долгие годы.
Шереметевская усадьба на берегу Фонтанки, сохранившаяся до наших дней в основных чертах, по композиционному замыслу была очень близка к другим дворцам-усадьбам, построенным вдоль этой реки в первой половине XVIII века, таким, как Аничковский или Воронцовский. За дворцом, расположенным в глубине участка, и главным фасадом, обращенным к реке, и флигелями находился регулярный сад, простиравшийся вплоть до "Литейной перспективы". На Литейную же выходили флигель и каменная ограда. Сад с аллеями из шпалерных деревьев был украшен павильонами и фонтанами. Сбоку, ближе к Симеоновской церкви, располагался служебный двор.
Для Федора Аргунова участие в создании усадьбы на Фонтанке было и первым опытом работы архитектора-проектировщика, и первым опытом руководства строительства. В эти годы его учитель С. И. Чевакинский вел работы в Царском Селе и на Никольском соборе, которые отнимали уйму времени, поэтому можно говорить о молодом архитекторе (ему в ту пору было около двадцати лет) как о подлинном организаторе строительных работ, человеке энергичном, способном решать творческие и хозяйственные вопросы.