Гораций Гинцбург находился в самом средоточии интеллектуальной жизни своего времени. Его петербургский дом, как некогда дом его отца в Париже, открыл свои двери для лучших представителей передовой российской интеллигенции. Дружеские отношения связывали Гинцбурга с М. М. Стасюлевичем и литераторами круга либерального журнала «Вестник Европы»; председателем Совета присяжных поверенных Петербурга К. К. Арсеньевым; профессором уголовного права, выдающимся криминалистом В. Д. Спасовичем; историком литературы А. Н. Пыпиным; профессором Военно-юридической академии К. Д. Кавелиным; выдающимся историком искусств и меценатом В. В. Стасовым (впоследствии горячим поклонником еврейских талантов). Здесь часто бывали писатели И. С. Тургенев, И. А. Гончаров, М. Е. Салтыков-Щедрин, П. Д. Боборыкин, прославленный юрист А. Ф. Кони, терапевт, основатель школы русских клиницистов С. П. Боткин, замечательный русский философ В. С. Соловьев. С последним Гинцбурга связывали особенно доверительные и близкие отношения. Не исключено, что именно под влиянием Гинцбурга Соловьев стал изучать иудаизм по первоисточникам и приобрел основательные познания в Талмуде; биографы философа свидетельствуют, что последними его словами на смертном одре были: «Шма Израэль». К сожалению, переписка Гинцбурга с Соловьевым, а также с другими деятелями культуры, хранившаяся в архиве барона и имеющая первостепенное научное значение, погибла, опровергая известное утверждение, что рукописи не горят.
Тесные отношения установились у Горация Осиповича с художником И. М. Крамским, который рисовал портреты семьи Гинцбургов, а также придворным живописцем М. А. Зичи, писавшим виртуозные, отмеченные чертами салонности сцены охоты. Гораций собирал современную русскую живопись, в его петербургском доме хранилась коллекция портретов XIX века. Именно Гинцбург способствовал тому, что никому не известный портняжный подмастерье из Вильно М. М. Антокольский получил академическое образование и обрел всемирную славу скульптора. И барон никогда не оставлял его своими милостями, предоставив возможность уже неизлечимо больному Антокольскому провести последние месяцы жизни в благословенной Швейцарии. Гинцбург создал тогда в Академии искусств специальный фонд для выдачи премий евреям-художникам.
Приятельствовал барон и с первым директором Петербургской консерватории А. Г. Рубинштейном, и с известным виолончелистом К. Ю. Давидовым, и со с скрипачом, профессором Л. С. Ауэром. Он оказывал материальную поддержку юным скрипачам Яше Хейфецу и Мише Эльману – они были стипендиатами Гинцбурга.
Но особенно продуктивно благотворительная и образовательная деятельность Горация Осиповича реализовалась в рамках «Общества для распространения просвещения между евреями России», председателем которого он стал после смерти отца. Так, в 1880 году им был основан фонд для помощи еврейским студенткам. Впечатляющей была и издательская продукция просветителей. Увидели свет «Русско-еврейский архив» (под редакцией С. Бершадского, т. 1–2; Спб., 1882), «История евреев» Г. Греца (Спб., 1883) и др. Для изучения истории евреев России была создана особая Еврейская историко-этнографическая комиссия (преобразованная впоследствии в Еврейское историко-этнографическое общество). Именно она напечатала классический труд «Регесты и надписи» (т. 1–3. Спб., 1899–1913), ставший настольной книгой каждого любителя еврейской старины. Была организована этнографическая экспедиция, собравшая уникальную коллекцию предметов национальной материальной культуры, – эта коллекция потом легла в основу музея («благополучно» закрытого при советской власти).
Велики заслуги Общества и в деле начального образования евреев. Были изданы «Сборник в пользу начальных еврейских школ» (1896), «Справочная книга по вопросам образования евреев» (1901). Выдавались субсидии как евреям-учащимся общих учебных заведений, так и непосредственно еврейским начальным школам. Общество содействовало и открытию новых школ, ставя условием преподавание в них религиозных предметов и языка иврит. Работа Общества значительно расширилась с открытием новых отделений в Москве (1894), в Риге (1898), в Киеве (1903). К концу жизни барона Общество насчитывало 30 отделений с семью тысячами членов; в его распоряжении находились 9 библиотек. В 1907 году под патронажем Общества в Гродно были открыты двухгодичные педагогические курсы для подготовки кадров еврейских учителей.