铁路的发明始自16世纪。当时欧洲的一些矿山用马拉矿车来运载矿石，由于巷道坑坑洼洼，高低不平，崎岖难行，矿车运输效率很低。
有人想了个好主意，将平整的木板连接起来，铺设在巷道中，矿车在上面行驶，既轻便又快捷。后来木板不够用了，而将原木加工成平整的木板是件很麻烦的事，于是又有人出主意，直接将未加工的长木杆分两排固定在地上，地面不平时就在下面垫上一些枕木，并将矿车车轮的轮缘部分制成台阶状，恰好“骑”在木杆上，这就是最初的轨道。由于木杆不结实，容易损坏，后来又改用生铁来制造，称为“铁轨”。
随着欧洲工业革命的发展，蒸汽机得到普遍应用，一些人设法将它安装在马车上，代替马来推动车辆前进。1814年，英国人斯蒂芬逊制成世界第一台实用的蒸汽机车。由于机车又大又重，容易陷在普通道路上，人们为它铺设了专门的铁轨，称为“铁路”。1825年，世界上第一条铁路——从英国斯多克顿至达林顿——正式通车。蒸汽机车冒着黑烟，拖带着数十节车厢，缓缓行驶于城市之间，看热闹的人围挤在铁路两旁。
早期的蒸汽机时速只有10km左右，还没有马车跑得快。1830年，英国开始对铁路进行改进，先在路基上铺设用小石子堆成的道床，以调平地势的高低坑洼，然后在上面铺设枕木，再将铁轨架设在枕木上。新型蒸汽机车行驶在这种改进后的铁路上，时速可达到50km。
从19世纪中叶起，铁路在欧洲各国和北美大陆迅速普及。蒸汽机车的功率越来越大，速度越来越快。到20世纪初，德国先后研制出第一台实用的电力机车和第一台汽油内燃机车，不久又研制出柴油内燃机车，因为柴油比汽油便宜得多，也不需要架设输电线，所以很快得到广泛应用。
到20世纪中期，各国开始用效率更高的内燃机车和电力机车来取代传统的蒸汽机车，进一步提高了行车速度，而且有利于改善环境，降低了火车司机的劳动强度。自20世纪60年代起，工业发达国家开始研制每节车厢自带牵引动力的动车组，日本最先修建新干线高速铁路。法、英、美、德等国家也纷纷效仿。其中，法国TGV高速动车组列车最高时速达到574.8km，创造了有轨列车最快的世界纪录。中国也研制出了自己的动车组列车“和谐号”，从2007年起投入运行。中国已计划铺设第一条从北京到上海的高速铁路，设计时速达到300km。