Сначала он был основан по распоряжению военного губернатора графа Сухтелена при Неплюевском кадетском корпусе в 30-х годах XIX в. Преемник Сухтелена генерал Перовский обратил особенное внимание на создание музея и даже построил для него специальное здание при училище земледелия и лесоводства. В развитии музея принимал большое участие известный писатель В. И. Даль, служивший чиновником особых поручений при Перовском. В музее было собрано до 6 тыс; экспонатов, в том числе препараты известного зоолога Северцева. После Перовского музей долгое время влачил жалкое существование. Только в 80-х годах, когда он перешел в ведение Оренбургской ученой Архивной комиссии, деятельность его оживилась. В 900 годах комиссия приобрела в собственность двухэтажный домик, стоящий до сих пор на набережной Урала, близ здания гауптвахты, где разместила свой музей, а также и Архив генерала-губернатора.
В 1920 г. губернский музей со всеми своими экспонатами и имуществом вошел в состав ЦК Музея КССР. За выездом столицы Казакстана из Оренбурга, в 1927 г. был произведен раздел экспонатов между музеем Казакстана и вновь открывшимся губернским музеем. Ныне губернский музей существует самостоятельно
В 1925 г. сквер был соединен в один и в центре поставлен на гранитном пьедестале памятник Владимиру Ильичу ЛЕНИНУ. С этих пор Ленинский сквер стал одним из лучших уголков города, где в летние вечера происходит самое оживленное гуляние публики. Площадка перед памятником Ильича — любимый уголок городской детворы, которая разноцветным хороводом окружает подножие памятника, соперничая разнообразием красок с художественными клумбами цветов. С установкой радио это место стало центром культурного развлечения и отдыха.
В одной половине сквера стоит каменная беседка на гранитных колоннах. Когда-то в ней помещался фонтан с амуром. Беседка была построена по приказанию генерала Перовского на горе Сулак для встречи Александра II, бывш. наследником, в 1837 г. После этого решетка была перенесена в Зауральную рощу и некоторое время украшала там дачу генерал-губернатора. В 60-х годах беседка была перевезена в город и поставлена на настоящее место.
С переводом училища в новое здание в 1878 г. здесь был открыт Учительский институт, а в 1894 г. — Реальное училище.Здание сильно пострадало от пожара 1879 г., после чего отремонтировано, и к нему пристроены колонны под'езда. Это здание очень типично по своему фронтону для строительства времен Перовского, которое составляет целую эпоху в развитии города Оренбурга и украшении его прекрасными стильными зданиями.