Большое скопление нефтяных остатков в Баку и их дешевизна направили поиск учёных и инженеров на разработку и других методов их утилизации. Перспективной оказалась их переработка в светильный газ путём термического разложения. Большую роль в развитии метода сыграли работы русского учёного А. А. Летнего по глубокому термическому разложению нефти и мазута, которые он выполнил в 1870-х годах. В Казани и Киеве были построены первые в мире газовые заводы, которые работали на нефтяных остатках. Казанский завод питал нефтяным газом около тысячи больших уличных фонарей.
В конце XIX века нашлось применение и ещё одному очень важному продукту, который получается из нефти, – бензину.
В 1880-х годах русский моряк О. С. Костович изобрёл первый в мире бензиновый карбюраторный двигатель. Этот двигатель, предназначавшийся для дирижаблей, хранится ныне в Музее авиации и космонавтики имени М. Фрунзе. В 1885 году Г. Даймлер в Германии применил бензиновый двигатель для мотоцикла, а позже К. Бенц – для трёхколёсной тележки.
Встала задача – каким образом можно получать из нефти больше бензина. Ещё в 1866 году англичанин Дж. Юнг запатентовал способ разложения нефти при нагревании под давлением. Этот способ, впоследствии названный крекингом, позволил получать бензин и керосин из тяжёлых углеводородов.
В 1891 году В. Шухов и С. Гаврилов предложили установку для непрерывного термического крекинга под давлением, идея которой до настоящего времени является основой всех современных установок подобного рода.
Работы русских учёных Н. Д. Зелинского, Л. Г. Гурвича, С. В. Лебедева, Г. Г. Густавсона и других заложили основы химического направления в переработке нефти.
Следующий шаг на этом пути сделали инженер-механик Владимир Шухов и химик Феликс Инчик. В своей установке изобретатели соединили перегонный куб с ректификационной колонной, имевшей девять тарелок для отбора различных по удельному весу дистиллятов. Однако сложность конструкции и дороговизна изготовления послужили препятствием для широкого внедрения установки, основные научные и технические принципы которой впоследствии нашли воплощение при аппаратном оформлении атмосферно-вакуумных и крекинговых установок.
Настоящей прорыв в 1883 году совершили инженеры ведущей российской нефтяной компании «Товарищество нефтяного производства братьев Нобель» во главе с Людвигом Нобелем. Их изобретение «куба усовершенствованной системы для дробной и непрерывной перегонки нефти» стало революционным. В многокубовой установке была конструктивно оформлена идея обеспечения непрерывного перетока нефти из одного куба в другой, чтобы при поддерживании в них различной температуры добиться последовательного отгона дистиллятов разного удельного веса. Достаточно быстро кубовая нобелевская батарея, устранившая полностью все недостатки кубов периодического действия, получила широкое распространение не только в России, но и в Западной Европе, и в США.
На рубеже веков на долю России приходилось более 30 % мировой нефтедобычи. Компания «Шелл Транспорт и Трейдинг», которая позже стала частью «Роял Датч/Шелл», начала свой бизнес с перевозок нефти, добываемой Ротшильдами на Каспии, в Западную Европу. Но из-за использования постепенно устаревающих технологий нефтедобычи и отсутствия капитальных инвестиций в новые технологии за период с 1904 по 1913 год российская доля в мировом экспорте нефти сократилась с 31 до 9 %.
В 1901–1913 годах страна добывала приблизительно 11 млн тонн нефти. Сильный спад произошел во время Гражданской войны. В 1918 году Советская Россия национализировала частные нефтяные компании. К 1928 году добыча нефти была снова доведена до 11,6 млн тонн.
За время Гражданской войны технологически страна очень отстала. Когда начали восстанавливать народное хозяйство, то пришлось ушедшие далеко вперед технологии и оборудование закупать за рубежом, в первую очередь в США.
Первая в СССР трубчатая установка компании «Гревер Корпорейшн» мощностью 450 тыс. тонн сырья в год была введена в эксплуатацию в 1929 году. Всего в 1929–1932 годах в СССР построили 26 американских трубчатых установок. С 1925 года закупались за рубежом и крекинг-установки. В целом за годы первой пятилетки мощность нефтеперерабатывающих заводов страны увеличилась в 1,83 раза.