Датой основания Одесской городской публичной библиотеки следует считать 1829 год. Это стало большим культурным событием в жизни еще молодого портового города. Но общественные инициативы по поводу необходимости такой библиотеки в Одессе были уже давно.
Еще в феврале 1829 года редактор газеты «Одесский вестник», действительный статский советник и бывший градоначальник Алексей Левшин подал генерал-губернатору Михаилу Воронцову докладную записку следующего содержания.
«Я употребил бы во зло снисходительное внимание Вашего сиятельства и даже оскорбил бы Вашу особу, если б стал доказывать перед Вами пользу учреждения публичной библиотеки. Если мысль сия заслуживает одобрения Вашего сиятельства, то позвольте употребить составленный газетой капитал в сумме 15 тысяч рублей на покупку книг, кои составят основание здешней городской библиотеки. Полагать должно, что частные приношения деньгами и книгами доставят значительные средства к достижению желанной цели. Щедрость и любовь к просвещению Ваши послужат первым примером. Подражая оному, и я буду покорнейше просить общество городское принять от меня подношение книгами».
В соответствии с прошением графа Воронцова император Николай I 13 сентября 1829 года издал указ об образовании в Одессе городской публичной библиотеки — второй в Российской империи, после Санкт-Петербурга.
Однако открытию библиотеки помешало страшное бедствие: на Одессу обрушилась эпидемия чумы. Строительные работы были приостановлены. Город мужественно сражался с бедой. Но о библиотеке никто не забыл. Уже 15 апреля 1830 года состоялось ее открытие. К этому времени фонд составлял 5000 книг. С первых лет своего существования библиотека рассматривалась как центральная на юге империи.
Большой вклад в библиотеку сделал сам Михаил Воронцов — он подарил 600 томов французских классиков в роскошном издании Фирмена Дидо. Примеру губернатора последовали и другие богатые одесситы. Количество книг в библиотеке стало быстро расти.
В 1831 году во все одесские типографии был отправлен указ предоставлять в библиотеку по два экземпляра всех печатавшихся книг. Особую ценность фонда составляли следующие коллекции: графа Толстого — более 4000 изданий, Григория Маразли — 10 000 томов, коллекция технических книг профессора Тимонова — 1085 книг, коллекция Борзенко — 851 книга по экономическим и юридическим наукам, библиотека археолога Бурачкова — 3176 томов.
Среди иностранных дарителей, фигурирующих в отчетах библиотеки еще с 1850-х годов, были библиотеки Парижа, Британского музея, Конгресса США, Смитсониатский университет Вашингтона и прочие крупнейшие университеты — Пражский, Пекинский, Парижский, Гарвардский.
Более полувека публичная библиотека размещалась в разных местах: в здании «присутственных мест» на Приморском бульваре, в доме Великанова на Греческой улице, в доме Папудова. И в специально построенном здании на Думской площади, где помещение библиотеки соседствовало с экспозицией музея истории и древностей.
Здание по адресу Ланжероновская, 4, по проекту архитектора Гонсиоровского, было построено в 1883 году на средства известнейшего мецената и тогдашнего городского головы Григория Маразли и стало первым самостоятельным зданием для главной библиотеки города. На содержание ее выделялись деньги из городского бюджета. Так, в смете 1890 года значились платежи: заведующему, двум помощникам, писцу, трем служителям, на покупку книг и выписку журналов, на переплет книг, на отопление и освещение, на хозяйственные, мелочные и разные нужды. Всего выделялось 7818 рублей. Город шел на эти расходы, считая, что польза, которую приносит жителям библиотека, с излишком их окупает.
Однако уже к началу XX века стремительный рост книжного фонда библиотеки показал, что для обеспечения ее нормального функционирования на многие десятилетия необходимо отдельное здание. На торжественном собрании, посвященному 50-летнему юбилею библиотеки, городской голова назвал ее «кочующей», а книги фонда «долго уже просящими самостоятельного, более соответствующего их богатству и значению помещения».
В отчете за 1901 год отмечалось следующее: «…теснота помещений, лишающая возможности расширять в желательной мере функции библиотеки, отсутствие необходимейших удобств для посетителей, из которых многие проводят по 5–6 часов в залах за работой, не без вреда, конечно, для себя, вдыхая очень спертый вследствие отсутствия вентиляции воздух, а главное, то обстоятельство, что с каждым днем все резче и резче выступают недостатки здания в пожарном отношении, так как оно сооружено без соблюдения элементарных правил противопожарной безопасности…»
В том же году попечитель библиотеки граф Толстой пишет в городскую управу: «…помещение библиотеки все уже занято книгами, и в настоящее время осталось весьма незначительное количество свободных полок, сооружение которых, ввиду отсутствия свободных мест, должно быть окончательно прекращено, также чувствительно сказывается теснота в читальном зале, в котором весьма часто не могут разместиться все посетители».