新中国成立后，为推动西部边远地区经济建设的发展，1958年兰青铁路被列入国家建设计划，同年5月13日举行了开工典礼，筑路大军分别从兰新线的河口南站接轨处和西宁等许多地段同时开工。特别是在西宁和海东地区掀起全民修路的热潮，西宁、乐都、民和、平安等8县市的5万多人进入施工现场，同广大铁路职工团结协作，并肩战斗，仅民工完成的土石方就达300多万立方米。兰青铁路经数万筑路大军一年零四个月的风餐露宿、夜以继日地紧张施工，于1959年9月23日铺轨到了西宁，1960年2月交付运营。
早在民国初年，孙中山先生曾拟定了一个修建10万英里铁路的计划。计划中的高原铁路有两条：一条由兰州经乐都、西宁、湟源、柴达木东南，直到西藏、拉萨；另一条由兰州出发，经西宁、都兰，最终到达新疆。但由于各种历史原因，这一计划根本无法实现。国民政府曾于1943年和1945年两次组团到青海考察、勘测，但其结果也是不了了之。
兰青铁路通车的西宁时候，西宁火车站还在修建之中，所以车站最初的候车室和售票厅，是用草席临时搭建起来的草席棚子。虽然设备简陋，草棚候车室内炉火很旺，有服务员不停地给大家倒开水喝，也有一些卖吃的小摊贩及卖洗脸水的摊主。站前广场是高低不平的土坝，车站的进出口设立了临时的检票口，站内仅有一个低站台。1960年底，车站候车大楼才投入使用，是当时西宁最醒目的建筑物之一。
兰青铁路的勘探设计由铁路第一设计院担任，河口南至西宁段于1957年完成定测，1958年3月完成施工设计；西宁枢纽于1958年9月完成定测，1959年2月完成施工设计；西宁至希里沟于1958年8月完成定测，1960年10月完成施工设计。希里沟至冷湖段1958年9月完成初步设计，10月完成定测，因为施工暂缓，施工设计未全部完成。
当年设计的兰青铁路出河口南在八盘峡过黄河以后，平均海拔约1800米；老鸦峡长10多公里，是全线的咽喉地段，这里谷地狭窄，山峰陡峭，湟水湍急，而且桥隧相连，工程艰巨。兰青铁路八次跨湟水河而抵达西宁，从西宁向西，跨北川、西川两河至双寨，线路起伏不大。入扎麻隆峡以后，河流迂回曲折，山势陡峭；出峡后至湟源，再次进入巴燕峡，继而转入丘陵地区到达海晏。翻越湟水与青海湖的分水岭克土垭口，沿青海湖北岸到刚察。在天峻县以4000多米长的隧道通过该条铁路的最高点关角垭口，由起点的海拔1570米升至3850米。越岭后顺冰川河迂回而下，至希里沟盆地，沿柯柯盆地及尕海边缘至德令哈，再沿托素湖北缘，经怀头他拉翻越航垭分水岭进入柴达木盆地的全吉东，经大柴旦、马海至冷湖。除越岭东段约有90公里丘陵外，大部分地段为山间冲积平原，地势平坦。
兰青铁路从八盘峡过了黄河的177公里，1956年第一铁路工程局做了一些临时准备工程，当年因调整投资计划缓建。1958年由第六工程局（后改为西宁铁路局）再度施工，因为有青海省调集5万余民工支援，施工过程实行了快速施工和常年不间断施工，开工后8个月，就基本上达到了铺轨程度。因为轨料到达较晚，才延至1959年8月4日铺轨至民和，9月23日到西宁。
西宁至海晏段96公里于1958年9月开工，1960年11月23日完成铺轨通车。1961年元旦由兰州铁路局开办临时营业。海晏以西主要是关角隧道和黄土庄等重点土石方工程开工，德令哈附近也一度开工，其后停工。由于兰青铁路通车的地段大部分是边施工、边设计的，遗留的工程量巨大，并有许多病害和缺陷。例如路基宽度不够，路堑边坡过陡，铁路与灌渠相互干扰，七个车站到发线不足450米等等。
1961年兰青铁路只是做了一些填平补齐的工作，海晏以西全部停工，1962年4月列为停建项目。冷湖失去了一个由铁路交通而带来的发展机遇。
1961年1月1日，西宁铁路局撤销
