В эти столь бурные годы Мандельштама привлекли работы Планка, стремившегося понять, почему свет, проходящий через прозрачную, незамутненную среду, ослабляется. Причиной могло быть только рассеяние. Но что может рассеивать свет в чистом, однородном газе?
И как быть с опытами, безупречными опытами, с удивительной точностью подтверждавшими ранее господствующую теорию рассеяния? Все в ней представлялось бесспорным и как бы протестовало против вмешательства.
Мандельштама не смутило совпадение результатов опытов с прежней теорией. Об одном из таких опытов он написал в 1907 году: «Это совпадение должно рассматриваться как случайное».
Целым рядом работ Мандельштам показал, что беспорядочное движение молекул не делает газ однородным. В реальном газе всегда имеются мельчайшие разрежения и уплотнения, образующиеся в результате хаотического теплового движения. Вот они-то и приводят к рассеянию света, так как нарушают оптическую однородность воздуха.
Мандельштам писал: «Если среда оптически неоднородна, то, вообще говоря, падающий свет будет рассеиваться и в стороны».
Много позже, в 1917 году, Мандельштам и независимо от него французский ученый Леон Бриллюэн задались вопросом о том, как же происходит рассеяние света в прозрачных однородных жидкостях и твердых телах, плотность которых неизмеримо больше плотности воздуха.
Оказалось, что и здесь большую роль играют флуктуации плотности, подчиняющиеся законам, родственным тем, которые приводят к движению броуновские частицы.
Но в жидкостях и твердых телах, которые физики объединяют обобщающим понятием — конденсированные среды, в процесс рассеяния света вмешивается новый фактор, корни которого простираются до 1820 года, когда французы Дюлонг и Пти установили замечательный факт равенства удельной теплоемкости всех твердых тел. Попытки объяснить эту закономерность дали толчок многим далеко идущим исследованиям. Но причина столь удивительного равенства так и осталась неясной, и опытный факт со временем превратился в закон Дюлонга и Пти. Лишь более чем через половину века цюрихский профессор Вебер обнаружил, что удельные теплоемкости алмаза, графита, бора и кремния резко отклоняются в меньшую сторону от закона Дюлонга и Пти. Он же установил, что повышение температуры уменьшает обнаруженное им отклонение.
Эйнштейн, в студенческие годы слушавший лекции Вебера, не мог остаться равнодушным к его открытию. Он представил себе атомы твердых тел колеблющимися вокруг устойчивых положений равновесия, определяемых взаимодействием их электрических полей. Свойства таких атомных систем напоминают в общих чертах поведение системы грузиков, связанных пружинками. Эйнштейн стремился во всех случаях описать сложную систему при помощи наиболее простых моделей и наиболее простых формул, лишь бы они воспроизводили существенные черты реальных явлений. Этот путь и здесь привел его к успеху. Применив к своей модели формулы Планка, он смог объяснить наблюдения Вебера.
Впоследствии Дебай развил работу Эйнштейна и показал, что тепловые колебания твердых тел имеют ту же природу, что и звуковые колебания, но частоты их занимают несравненно больший диапазон, чем слышит наше ухо. То были ультразвуковые и гиперзвуковые колебания, много позже освоенные техникой. Но звуковые волны связаны с сжатием и разрежением, с изменением плотности вещества. Если эти волны порождаются тепловыми движениями, то их наложение приводит к хаотическим изменениям, к флуктуациям, плотности. Достаточно было осознать это, и механизм рассеяния света в конденсированных средах становился ясным. Теперь этот процесс известен как рассеяние Мандельштама — Бриллюэна. Он приобрел новое значение после создания лазеров.
Много лет спустя, в 1925 году, став заведующим кафедрой Московского университета, Мандельштам продолжил исследования рассеяния света совместно с искусным экспериментатором Григорием Самуиловичем Ландсбергом.
Результаты совместной работы были неожиданны и необычайны. Ученые обнаружили совсем не то, что ожидали, не то, что было предсказано теорией. Они открыли совершенно новое явление. Но какое? И не ошибка ли это? В рассеянном свете появилась целая комбинация частот, которых не было в падающем на вещество свете.
На фотографиях спектра рассеянного света упорно появлялись слабые и тем не менее вполне явные линии, свидетельствующие о наличии в рассеянном свете «лишних» частот. Многие месяцы ученые искали объяснение этому явлению. Откуда в рассеянном свете появились «чужие» частоты?
И настал день, когда Мандельштама осенила изумительная догадка. Это было удивительное открытие, то самое, которое и теперь считается одним из важнейших открытий XX века.