Первоначально колейные дороги появились на разработках камня, в рудниках и угольных шахтах в середине XVI века. Так называемые рельсы представляли собой деревянные брусья — лежни. По такому колейному пути лошадь могла везти груз в 4 раза больший, чем по обыкновенной грунтовой дороге. Однако деревянные лежни быстро изнашивались, повозки сходили с пути. Чтобы уменьшить износ деревянных лежней, их стали укреплять железными или чугунными полосами. Для предотвращения сходов повозок с пути на лежнях стали делать закраины.
Чугунные рельсы появились в XVIII веке. Одна из первых чугунных дорог длиной около 160 м была построена на Александровском заводе в Петрозаводске (Онежский завод) в 1788 году под руководством А. С. Ярцева. Ширина колеи была около 0,8 м, рельс — уголковым. Движение по этому пути было в 12 раз легче, чем по обыкновенным грунтовым дорогам.
В процессе эксплуатации железных дорог поверхность рельсов засорялась и оказывала большое сопротивление качению. Эта причина, видимо, привела к появлению выпуклых рельсов с эллиптической формой поверхности катания, введенных горным инженером П. К. Фроловым. Колёса имели жёлоб, соответствующий форме головки рельса. Этот рельс явился прообразом современного железнодорожного рельса. С появлением паровозов резко повысились нагрузки от колёс, а скорости (уже у первых локомотивов) достигали 50 км/ч и более. Учитывая высокие динамические нагрузки от колёс подвижного состава и необходимость работы на изгиб, все варианты рельсов в той или иной степени по профилю приближались к форме двутавровой балки. Распространение получили две конструкции рельсов — двухголовый и широкоподошвенный.
При создании двухголового рельса его авторы полагали, что после износа одной головки рельс можно будет перевернуть и использовать другую его сторону. Однако эта идея не оправдалась, так как износ верхней головки от воздействия колёс подвижного состава сопровождался износом его нижней части. Первые рельсы изготавливались в основном из чугуна. Было установлено, что стальные рельсы изнашиваются меньше и равномернее, чем чугунные. В настоящее время во всех странах применяют только стальные рельсы, металл которых (кроме углерода) содержит кремний, марганец и другие добавки, повышающие его качество. Широкое распространение получили термически упрочненные рельсы, твёрдость материала которых повышена с 290–300 до 360–380 единиц по Бринеллю, что в 2–3 раза повышает их износоустойчивость.
П. К. Фроловым на Змеиногорском руднике Колывано-Воскресенских заводов на Алтае была построена первая в мире железная дорога со всеми её основными элементами: дорога имела насыпи, выемки, виадук, мост через реку Корбалиху на 20 каменных столбах высотой до 11 м. Уклон линии не превышал 14 %. По этой дороге одна лошадь могла везти груз в 25 раз больший, чем по грунтовой дороге.
В 1837 году была построена железная дорога Петербург — Царское Село протяжённостью 27 км. Почти всё полотно дороги было расположено на насыпи. На дороге было сооружено 42 деревянных небольших моста пролётами по 2–3 м. Мост через Обводный канал был длиной 25,6 м. Рельсы были двухголовые, укреплялись с помощью клиньев в чугунных подушках, которые прикреплялись к шпалам длиной 3 м нагелями. Длина рельсов была различной — от 3,7 до 6,9 м. Балласт состоял из слоя булыжника и слоя щебня общей толщиной 45–50 см. Наибольший уклон на дороге был 2 %. Ширина колеи первоначально была 6 футов (1829 мм).
Большим шагом вперёд в развитии железнодорожного дела, в том числе и железнодорожного пути, явилось строительство в 1842–1851 годах линии Петербург — Москва протяжённостью 651 км. На линии впервые были применены широкоподошвенные рельсы, изготовленные на Людиновском заводе, массой 29 кг, длиной 5,486 м и высотой 89 мм; балластный слой имел толщину 0,5 м на насыпях и 0,8 м в выемках и состоял из двух слоев: верхнего — из гранитного щебня толщиной 18 см и нижнего — песчаного или гравийного. В процессе строительства подрядчики стали применять только песчаный балласт. Ширина колеи по настоянию П. П. Мельникова и других русских инженеров была установлена 5 футов (1524 мм). Мельников подчеркивал, что в пользу господствующей за рубежом колеи шириной 1435 мм «нет никаких убедительных доводов», колея в 1829 мм приведёт к бесполезному перерасходу материалов, а грузоподъёмность вагонов не повысится.
Одновременно с развитием железнодорожного строительства развивалась и наука о железнодорожном пути. Инженер П. П. Мельников в 1835 году предложил формулу для расчёта рельсов с учётом влияния подвижной нагрузки. Воздействия подвижного состава на путь были исследованы профессором К. Ю. Цеглинским в 1903 году в труде «Железнодорожный путь в кривых». Большой вклад в расчёты пути на прочность внес академик Н. П. Петров. Отечественные специалисты вели большие работы по совершенствованию науки о железнодорожном пути, но в условиях царской России многие их начинания не находили должной поддержки. Поэтому железнодорожный транспорт в царской России был технически развит слабо.