Екима Лазаревича Лазарева принято называть — учредителем Института. Из всех портретов Е.Л. Лазарева получил наибольшую известность тот, на котором
В конце 1822 года в институтском саду в присутствии учеников и почетных гостей был торжественно открыт памятник в честь семьи Лазаревых — чугунный обелиск с барельефами основателей института и памятными надписями на мраморных досках, укрепленных на каждой из четырех граней.
Портрет Е.Л. Лазарева.
В 1827 году Лазаревское училище преобразуется в Лазаревский институт восточных языков. За семьей Лазаревых, несших все расходы по строительству и содержанию учебного заведения, а также выделявших средства на бесплатное обучение значительного числа воспитанников, закреплялось право попечителей. Вслед за повышением статуса училища последовало и укрупнение институтских владений. В 1828 году Иван Екимович купил соседний с правым флигелем дом, принадлежавший ранее М. А. Салтыковой, который был переоборудован под «типографию, слывшую одной из лучших в Москве. В середине XIX века был куплен дом Меллеров, а также дом № 7 по Армянскому переулку, где долгие годы жили педагоги института.
Во второй половине XIX века институт постоянно достраивался и перестраивался. Слева от главного здания появились гимнастический и хозяйственный корпуса, а в 1905-м — строения для библиотеки и больницы.
1871 году, после смерти Х.Е. Лазарева, род Лазаревых по мужской линии прекратил существование, и институт перешел в ведение министерства просвещения, получив статус государственного учебного заведения. К началу XX столетия Лазаревский институт приобрел всемирную известность и по праву стал считаться сокровищницей культуры. Особую ценность представлял Минералогический кабинет, нумизматическая коллекция и знаменитая библиотека Лазаревых. На средства института стали снаряжаться научные экспедиции в страны Востока с целью изучения памятников мировой культуры, а лучшие выпускники направлялись для усовершенствования за границу.
Он выпустил сотни квалифицированных дипломатов и переводчиков, плодотворно работавших в министерстве иностранных дел и в российских диппредставительствах в странах Среднего и Ближнего Востока. Его воспитанники нашли свое призвание в разных областях. В Лазаревском институте получили образование: министр внутренних дел граф М. Лорис-Меликов, министр народного просвещения И. Делянов, дипломат граф И. Зиновьев; видные востоковеды: Н. Ашмарин, X. Баранов, Б. Гранде; филологи: Р. Аванесов, Р. Якобсон; автор известного словаря русского языка Д. Ушаков; поэт Ваан Терян; писатель Владимир Лидин; русский реформатор театра К.С. Станиславский; режиссер Р. Симонов.
Воспитанником Лазаревского пансиона был И. С. Тургенев. Дружил с X. Е. Лазаревым художник И. К. Айвазовский, он подарил институту картину «Вид города Феодосии». В разные годы его посетили великие писатели, поэты и ученые России: А. Пушкин, А. Грибоедов, М. Лермонтов, В. Жуковский, князь П. Вяземский, Н. Гоголь, министр иностранных дел князь А. Горчаков.
Актовый зал института, в котором проводились выпускные экзамены и собирались преподаватели и ученики в дни памятных дат и юбилейных событий, его кабинеты и библиотеки были украшены портретами из фамильной галереи Лазаревых, а также картинами и скульптурами выдающихся мастеров: И. Аргунова, И. П. Мартоса, В. А. Тропинина, В. Н. Машкова, И. К. Айвазовского, Т. Жака. На видном месте был установлен бюст Петра Великого. Художник П. Тутукин специально исполнил картину «Вид Лазаревского института восточных языков», которая не только украсила стену парадного зала, но и запечатлела уголок Москвы середины позапрошлого века.
Лазаревы оставались попечителями Института восточных языков вплоть до смерти последнего представителя их рода по мужской линии. После этого существовало лишь звание почетного попечителя, пожалованное близкому родственнику семьи князю С. Абамелеку, который получил право именоваться Абамелек-Лазаревым. За учебным заведением сохранилось название «Лазаревский».
Судьбу дома в Армянском переулке можно проследить по биографиям людей из славной семьи Лазаревых, живших или бывавших в нем. Имена эти малоизвестны, несмотря на то, что их добрые дела высоко ценились современниками. На дочери учредителя училища Екима Лазарева Марфе женился Давыд Абамелек, сражавшийся во всех великих сражениях Отечественной войны 1812 года. Его старшая дочь Анна, которой Пушкин писал стихи, стала женой брата поэта Баратынского Ираклия. 17 сентября 1836 года в Царском Селе Анна Давыдовна попала в дом Карамзиных в разгар преддуэльной трагедии Пушкина и видела поэта в эти тяжелые для него дни.
Сохранились стихи А. С. Пушкина, написанные в альбом Анны Давыдовны 9 апреля 1832 года, подтверждающие их знакомство в лицейские годы: