Волконские, совсем недавно поселившиеся на вяземской земле, выслали протоиерею Симеону Попову в Ревель вяземский пряник. Позже протоиерей писал Григорию Петровичу:
Семья Волконских поддерживала традиции благотворительности. Волконский периодически жертвовал средства в пользу подопечных тех попечительств, членом которых он был. В Сковородкино Волконские принимали на отдых детей с ослабленным здоровьем из бедных московских семей. Софья Павловна Волконская долгое время была попечительницей земского начального училища, находившегося в соседней со Сковородкино деревне Рождество. На близлежащей станции Касня по настоянию хлопотам князя Волконского было открыто почтовое отделение, что облегчило жизнь всей округе.
Главным увлечением Григория Петровича Волконского была охота. Чучела убитых зверей стали неотъемлемой частью интерьера его усадьбы и находились в Сковородкино вплоть до начала Великой Отечественной войны. В народе рассказывают, что когда князь выезжал на охоту, местные мужики уходили в лес заранее и гнали лосей навстречу князю. Поэтому охота чаще оказывалась удачной. В усадьбе на берегу малого пруда был выстроен небольшой «медвежий дом», сохранившийся и до нашего времени. В нем держали медвежат, чьи матери стали добычей князя. 21 мая 1902 года Софья Павловна писала мужу:
Известен случай, произошедший с крестьянином деревни Дрожжино, пришедшим в один из престольных праздников в Сковородкино, чтобы поздороваться с самим обитателем «медвежьего дома». Медведь, не желая здороваться с нетрезвым гостем, нанес тому серьезные ранения, следствием которых стала ампутация руки. Григорий Петрович назначил мужчине пенсию, а в престольные праздники и сам навещал мужчину, привозя тому подарки.
Приобретенная Волконскими усадьба в своем настоящем виде их устраивала не вполне. Большая семья, многочисленные гости: все это требовало строительства еще одного усадебного дома. Необходимы были также ремонт и строительство ряда хозяйственных построек и жилья для служащих. Доставка кирпича из Вязьмы оказалась делом весьма хлопотным и дорогостоящим, поэтому в Сковородкино был построен собственный небольшой кирпичный завод, отвечавший нуждам усадебного строительства, на некоторых кирпичах встречается клеймо «СКВ» («Светлейший князь Волконский»).
В итоге работы в усадьбе дополнительно были возведены двухэтажный каменный дом, соединявшийся переходом со старым особняком, дома для служащих, амбар, кладовая, баня. Удивительно грамотно с инженерной точки зрения выстроены погреба — ледники, которые до сих пор сохранились. Местные жители, которые живут рядом с этими погребами более 30 лет, говорят, что в них никогда, даже в самые многоводные сезоны года, не скапливалась вода. Один из погребов использовали для хранения продуктов во времена работы пионерского лагеря. Для охлаждения погреб загружали доверху льдом, который таял в течение всего лета. Но удивительно, что вода в погребе все равно не застаивалась. Была построена прачечная, здание которой также сохранилось. Это небольшой, прямоугольный домик, вписывающийся в общий ландшафт. На большом пруду была выстроена новая плотина и мост.
На территории усадьбы была своя конюшня. Летом крестьяне заготавливали достаточно много сена и хранили его на чердаке конюшни. Зимой это сено частями спускали с чердака. Часть здания конюшни сохранилась до настоящего времени. Во времена советской власти здесь был коровник. В усадьбе была сложная система гидротехнических сооружений. В барском доме действовал водопровод, была проведена канализация. До сих пор сохранились канализационные люки. Форма люков не круглая, как у современных люков, а овальная. На большой глубине, примерно до пяти метров, проложены многочисленные трубы. Они не проржавели, так как были лужеными — покрыты изнутри оловом или сплавом олова.