平定南中以后，诸葛亮就解除了蜀汉的后顾之忧，所以就集中力量，练兵讲武，准备北伐曹魏。消灭曹魏，然后统一天下，这是诸葛亮一生的主要奋斗目标，现在他终于可以开始施行了。
蜀汉建兴四年（226年），魏文帝曹丕病死，年仅二十二岁的曹睿即位，是为魏明帝。这时诸葛亮认为魏国幼主当政，内部不稳，正是北伐的大好机会。当时蜀汉攻魏的路线只有一条，就是出秦川，向长安进军。但是军队要出四川，需经过一段崎岖的山路，运送物资很困难。所以要北伐，首先必须把兵员和物资运到汉中集中，然后再从汉中伺机进军。
诸葛亮要带兵离开成都到汉中去，对成都的政治很不放心。这时后主刘禅虽然已经二十岁了，但他庸碌无能，不能独立处理政事。因此诸葛亮在离开成都前，对政府的人员作了布置和安排。然后他又给刘禅上了一个奏章，向他交待了应该作什么，不应该作什么。他在奏章中首先分析了当时天下的形势，说明蜀汉能达到现在的地位，都是大臣和将士拚死奋斗的结果，来之不易。他劝告刘禅要励精图治，继续发扬大家的锐气，切不可妄自菲薄，阻塞忠勇之路。诸葛亮的这份奏章，就是有名的《出师表》。它表现了对汉室的忠忱，对事业的殚精竭虑，对刘禅的苦口婆心，是一篇感人肺腑的政治宣言。
诸葛亮将成都的事情安排好之后，就率领步骑二十万前往汉中，随行的有老将赵云、魏延、吴懿等，还有年轻的参军马谡。到了汉中后，诸葛亮和大将们研究进兵的路线，魏延建议：魏军长安的主帅夏侯楸，是曹操的女婿，此人胆小无谋。如果让我领兵五千，从褒中（今陕西褒城）出发，沿秦岭往东，经子午谷（今陕西汉阳）向北，用不了十天功夫就可以进到长安，夏侯楸一定会弃城逃走。这时诸葛亮率主力由斜谷（今陕西眉县）会师长安。等到曹魏从东边调集兵马来反攻时，蜀汉的军队已经收服了咸阳以西的地区，占据了主动。诸葛亮用兵一向十分谨慎，他认为魏延的计划太冒险了，不如稳扎稳打把握大。他决定出祁山（在今甘肃西河县），先取陇右（今陇西高原），再向关中，这样的进军不会冒太大的风险。诸葛亮用分兵两路声东击西的战术，一路派赵云、邓芝为疑军，进驻箕谷（今陕西褒城北），扬言要从斜谷攻打郦城（今陕西眉县）;而另一路则由诸葛亮率领主力，向西北去攻打祁山。很快陇西的天水（今甘肃甘谷）、南安（今甘肃陇西）、安定（今甘肃镇原）三郡，都叛魏归蜀，天水将领姜维向诸葛亮投降。
诸葛亮在陇西的胜利，震动了魏国朝野。魏明帝一方面派曹真督军驰援郦城，抵御斜谷一线进攻的蜀军，另一方面派大将张邰率军五万西上，抵挡诸葛亮的主力。他自己亲到长安坐镇，以稳定军心。
诸葛亮听到张邰率大军西来，他观察地形以后，决定派一支先遣部队去守住咽喉要地街亭（今甘肃秦安县），以牵制张邰的进军。当时在诸葛亮身边的还有大将魏延、吴懿等，但由于诸葛亮平时对马谡的兵法很重视，没有派遣这些老将，反而派并无实战经验的马谡去镇守街亭，而由另一个将军王平为副将。马谡到了街亭，张邰率领的魏军也已到了街亭。马谡见街亭旁边有座小山，认为把营寨扎在山上，就占据了高地，可以控制街亭。王平认为，山上无水源，如果魏军切断山下的水源，蜀军就会不攻而自乱。马谡忘了诸葛亮临行的嘱咐，也听不进王平的劝告，把军队驻扎在山上;王平只得请求带一千人马驻守山下，以便接应。张邰见马谡的军队驻在山上，马上切断了水源围攻，马谡的军队因为缺水喝，不攻而自乱，王平见山上的军队已乱，就拚命击鼓，装出要进攻的样子，徐徐收集马谡溃散的士兵，慢慢地撤出了战斗。张邰怕王平后面有伏兵，也没有敢追赶。这就是有名的“失街亭”事件。
由于街亭的失守，打乱了诸葛亮的整个战斗部署。这时赵云、邓芝率领的另一支人马，也被魏军打败。诸葛亮在进无所据的情况下，为了保存实力，不得不放弃已经到手的陇西三郡，收兵回到了汉中。诸葛亮在总结这一次战斗经验和教训的时候，认为马谡不听劝告，违背战斗部署的原则，是造成失败的主要原因。本来他任命马谡镇守街亭时，一些老将就有不同的看法，现在马谡违犯军令，造成全军的撤退，不严办马谡，难于使大家心服。诸葛亮和马谡的哥哥马良是好友，对马谡也很有感情，但他不得不处以公心，挥泪斩了马谡。诸葛亮认为自己错用马谡也有责任，因而上书向后主请求，也给了自己一个降三级的处分。
诸葛亮并不甘心这次北伐的失败，他在积极地准备新的北伐。蜀汉建兴六年（228年）冬天，当东吴大将陆逊在石亭（今安徽桐城）大败魏将曹休，魏军主力东下增援，关中地区空虚的时候，诸葛亮认为再次北伐的机会到来。但是当时有的大臣认为，前次北伐，无功而还，是否有必要再次北伐，对北伐能否取得胜利表示怀疑。诸葛亮为了坚定北伐的信心，又给后主上了一个奏章，说明如果不伐魏，在魏强蜀弱的情况下，是无法维持偏安局面的。只有用主动进攻的方法，才有可能改变蜀汉不利的处境。这个奏章被称为《后出师表》。诸葛亮这次北伐，率数万兵力出散关（今陕西宝鸡市），围攻陈仓（今陕西宝鸡市东）。当时魏国守陈仓的军队只有一千多，但陈仓的地形险要，利守不利攻，所以魏军在其将领郝昭的率领下，坚守了二十多天也没有被诸葛亮攻下。这时诸葛亮因为魏军援兵就要到来，蜀军的粮食也供应不上，就主动撤兵回到汉中。
第二年春天，诸葛亮派部将陈式率兵攻取武都（今甘肃成县）、阴平（今甘肃文县）两郡，魏的雍州刺史郭淮从陇西进兵反击陈式，诸葛亮率主力突然进至建威（今甘肃成县），郭淮被迫退兵。诸葛亮派兵据守武都、阴平二郡，并对当地的少数民族进行了安抚，然后率主力又退回汉中。
这两次的北伐，都局部地取得了一些胜利。后主认为诸葛亮立了功，就下诏恢复了诸葛亮原来的职务。
建兴九年（231年）春天，诸葛亮在进行了两年的准备工作，并使用了“木牛”作为运送军粮的工具，还联系北方少数民族鲜卑族的首领轲比能率众至北地（今陕西耀县）响应，再一次出兵北伐，包围了祁山。这时魏明帝把大将司马懿从荆州调回，要他率大军去抵抗诸葛亮的进攻。司马懿很有军事才干，他知道诸葛亮远道而来，所带军粮有限，因而求战心切，就采取了坚壁固守;以逸待劳，不与蜀军主力决战的战术，想拖垮诸葛亮。诸葛亮虽然百般刺激司马懿的主力出动决战，但司马懿一直坚守不战。所以双方相持了一个多月，诸葛亮在一些局部的战斗中虽取得了一些胜利，但一直未能消灭魏军的主力。这时由于诸葛亮后方的运粮工作出了问题，不得不被迫退兵，而且在退却中诱杀了魏的名将张邰，但从整个战役来说，这次北伐仍未取得什么大的进展。