Сам же приют Ольденбургского существовал еще с 1846 года, когда принц «переустроил» по своим идеям малоизвестный Сиротский ночлежный приют на Песках. В 1848 году вступил в силу Высочайше утвержденный устав о «Детском приюте принца Петра Георгиевича Ольденбургского». Часть детей призревалась в приюте бесплатно, другие каждый год платили по 60 рублей. Затем, по новому уставу 1857 года, увеличилась плата за «пансионеров» и изменена учебная программа: в мужском отделении ввели преподавание в объеме четырех классов реальной прогимназии, а в женском – курс женских институтов и гимназий. Затем еще больше усилилось преподавание математики и естествоведения.
Большое внимание в приюте Ольденбургского уделялось изучению ремесел. В частности, в женских отделениях занимались различными видами рукоделия. С 1880 года выпускницы приюта получали права домашних учительниц.
С 1884 года программу мужского отделения расширили до «курса реальных училищ», а девушек стали готовить «к предстоящим им в жизни обязанностям, воспитывая их в строго религиозном духе», дабы «научить их кулинарному искусству, домоведению и гигиене». А с 1890 года выпускники мужского отделения приюта получали «права оканчивающих низшие механико-технические и реальные училища Министерства народного просвещения… Персонал был уравнен в правах… службы с чиновниками прочих ведомств, а в женском отделении был прибавлен педагогический класс».
Отделение приюта Ольденбургского на Большой Спасской улице состояло из целого комплекса построек. В 1892 году перед корпусом для служащих появилась деревянная часовня. В январе 1893 года ее обратили в церковь на триста человек (предположительно, работы вел архитектор Евгений Львович Лебурде, известный как автор дома П.А. Бадмаева на Поклонной горе и церкви и здания санатория «Халила» на Карельском перешейке).
Церковь, выдержанную в «русском стиле», украшали красивая высокая главка и одноярусная звонница. 20 июля 1893 года церковь освятил епископ Гдовский Вениамин в честь святого покровителя Ф.И. Базилевского – великомученика Федора Стратилата. Первое время в церкви служили только летом, но когда при отделении приюта открылась школа, она стала действовать круглогодично.
В 1900 году летнее отделение приюта принца П.Г. Ольденбургского хотели перевести в Лугу, однако это намерение не осуществили, поскольку под Лугой попечитель приюта Александр Петрович Ольденбургский выстроил большое здание приюта и рядом с ним церковь во имя св. блаженной княгини Ольги. А спустя несколько лет, как уже говорилось, при приюте принца П.Г. Ольденбургского на Большой Спасской открылась женская гимназия.
По воспоминаниям старожила Гражданки Галины Владимировны Михайловской (внучки купца Георгия Акимовича Шиканова, от фамилии которого шло название Шикановской улицы на Гражданке), именно эту школу закончила ее мать, о чем свидетельствует сохранившийся в семейном архиве уникальный документ – аттестат, выданный 24 мая 1913 года.
«Ученица Рукодельни Императрицы Марии Александровны Императорского женского патриотического общества по „Отделу для подготовки учительниц рукоделий“, – говорится в нем, – девица Ольга Шиканова, дочь личного почетного гражданина, 20 лет, вероисповедания православного, обучалась в Рукодельне с 1-го сентября 1910 г. на счет отца, где и кончила полный курс учения, равный по объему курсу 4-х основных классов школ Общества».