清朝末期兴办洋务，因为开平煤矿正式投产后，大量的煤炭要运往外地，为解决煤炭运输问题，有人提出学习英国发展铁路运输。光绪七年(1881年)，李鸿章指派唐廷枢策划修建唐胥铁路。修建这条铁路的目的，是解决开平煤的外运问题和谋取开平煤矿更大发展。开平煤矿所产原煤，除自用和就地销售外，主要销往天津。唐山距天津二百四十里，要从陆地运往芦台，然后改为水路，从大沽口到天津。运量很大，仅靠马拉运费很高。如果唐山至芦台发展铁路，火车运煤，既减少运输的麻烦又能降低成本。
唐廷枢在1877年9月请准开矿报告中，原有由开平至芦台修建一百里铁路的计划。因办矿资金不足，拟先修建开平至胥各庄一段。1878年发生在上海的吴淞铁路伤人事件，引发了对开平煤矿的“阻路”风潮，顽固派借口唐山靠近帝王陵寝，机车驶动“震动陵寝，喷出黑烟有损稼禾”，大加反对，清政府收回批准，筑路计划未能实施。于是唐廷枢便将修路之事放下，开始筹划挑河运煤。当时挖了一条东起丰润县的胥各庄，西至宁河县芦台河口阎庄的运河，因胥各庄至唐山的地势逐渐升高，无法开河。李鸿章授意唐廷枢再次奏请修建运煤轻便铁路，申明为免于震动东陵，用骡马牵引。李鸿章为此积极斡旋，清政府最终同意修建铁路。据《中国交通史》记载，唐胥铁路于光绪七年(1881年)五月十三日兴工，六月五日钉第一枚道钉，十一月竣工。唐胥铁路仅长十九华里，它是我国第一条自建铁路，确立了中国自己的铁路标准轨距。唐胥铁路东起唐山，西南至胥各庄，总占地近二百六十亩，工程造价二万五千两白银。采用由英国进口每码30磅的轻钢轨，轨距采用英国标准。1881年底唐胥铁路开始投入使用，用骡马在钢轨上拖曳煤车，称为“马车铁道”。1882年6月，开平煤矿全面投产，牵引力小、速度慢的马车铁道难以满足运输需要，才改为使用蒸汽机车。
中国的铁路从这里延伸出去，这里是中国铁路之源，也是我国铁路建设的伟大开端。随着开平煤矿的发展，唐胥铁路不断延伸。1886年，为了解决冬季河流封冻影响运输、阻碍煤矿发展的问题，在李鸿章倡导下，成立开平铁路公司，招集商股二十五万两，并由胥各庄往西续建铁路九十里至芦台，1887年5月竣工。1888年，延伸至天津。唐胥铁路往东1890年修至古冶，1893年修至山海关，使津榆铁路全线贯通。唐胥铁路不断向东西延伸，1896年由北京到山海关全线贯通，称为关内铁路，为清政府所有。