Двухэтажный на высоком цоколе усадебный дом сложился за два строительных периода. В его основе лежит одноэтажное на подклете кирпичное здание середины XVIII в., возможно, включившее части более ранней постройки. Позднейший облик стиля классицизма дом приобрел после капитальной реконструкции, осуществленной во второй половине 1790-х гг. Ф.Кампорези. По его проекту прежнее кирпичное здание увеличено было деревянными пристройками, создан новый двусветный зал, надстроен второй этаж, фасады, украшенные фронтонами и террасами с красивыми лестницами, оштукатурены с обработкой “под камень”. Со стороны парка дом получил деревянный, высотой в два этажа шестиколонный ионический портик. С флигелями его связали декоративные аркады с вазонами на балюстрадах. При капитальном ремонте здания в 1880-х гг. фасадная декорация была частично изменена, увеличена высота фронтонов.
В интерьере дома наибольший интерес представлял парадный двусветный зал с расписанными “под мрамор” колоннами коринфского ордера, которые поддерживали хоры. Выдержанный в тонких цветовых отношениях зал был украшен парными пилястрами и люнетами с лепными барельефами. Его убранство дополняли мебель, фамильные портреты и скульптура.
Дом, сильно разрушенный временем, подлежит восстановлению с заменой деревянных стен кирпичными.
Одноэтажный с мезонином северный флигель сооружен Кампорези для театра одновременно с реконструкцией главного корпуса. Кирпичный с деревянным оштукатуренным верхом, он венчался красивым куполом; сильно переделан в XIX —XX вв. Повторяющий его скромные формы южный флигель, созданный на месте предшествующего в 1883 г. деревянным по проекту Н.В.Набокова, перестроен в кирпиче в начале 1980-х гг.
Жилые корпуса для дворовых людей замыкают полукружием парадный двор. Оба корпуса, северный из которых предназначался для одиноких, а южный — для семейных, выстроены из кирпича по проекту Ф.Кампорези в конце 1790-х гг. Одноэтажные с полуподвалом, они очень скромны по архитектуре. Основным элементом декора служат штукатурные наличники второй половины XIX в. Старая планировка с коридорной системой частично изменена.
Башня при въезде на парадный двор, одна из двух, стоявших симметрично, служит в Ольгове единственным образцом псевдоготики. Круглая в два яруса, кирпичная, она увенчана короной из белокаменных пинаклей. Сквозной нижний ярус усилен боковыми контрфорсами с внутренними сводчатыми помещениями.
Одноэтажный с подвалом кирпичный кухонный корпус, лишенный декоративной обработки и стилевых признаков, выстроен в начале XIX в. Коридор вдоль внешней стены здания и переходная наружная галерея соединяли его с усадебным домом. Внутренняя планировка корпуса искажена переделками, своды в основном заменены балочными перекрытиями.
Введенская церковь на дороге к селу выстроена из кирпича в 1751 г. по заказу П.А.Соймоновой мастером-ярославцем К.Л.Дружининым, капитально реконструирована в 1828 г.
Храм типа “восьмерик на четверике” с двумя боковыми приделами, папертью и колокольней в три яруса составляет развитую симметричную композицию, возможно, воспроизводящую структуру прежнего деревянного здания. Форма центрального объема обусловлена заказом, согласно которому образцом для постройки должна была служить Владимирская церковь в Москве, в Китай- городе. Памятник сохранился в художественной редакции XIX в., когда оштукатуренные фасады приобрели скромные ампирные формы, приделы были перестроены и объединены с храмом арочными проходами, на церкви устроена более высокая кровля, скрывшая прежний массивный барабан. Несмотря на частичную перелицовку стен, под штукатуркой местами обнаруживаются следы прежней барочной декорации: угловые лопатки, рустовка, срубленные наличники окон. В XIX в. в церкви у западной стены имелись хоры, опиравшиеся на четыре колонны. На хоры и колокольню вела общая внутристенная лестница, расположенная в северном пилоне колокольни.
В интерьере стены покрыты цементной штукатуркой, живописи нет, прежние иконостасы и убранство утрачены.
Церковно-приходская школа занимает кирпичное неоштукатуренное одноэтажное усадебное здание рубежа XVIII —XIX вв., в 1894 г. расширенное в связи с передачей его В.В.Апраксиным учебному заведению. Положение на повороте дороги и следование ее трассе определило конфигурацию и общую, симметричную относительно угла композицию корпуса, выстроенного в стиле классицизма. Угол скруглен, выделен креповкой и полуколоннами тосканского ордера. Также раскрепованы отделанные рустом боковые крылья. Пропорциональность фасадных членений нарушена увеличением оконных проемов.