哥舒翰，是西突厥哥舒部落人。按突厥的习惯，常常以部落的名称为姓氏，他的父亲是哥舒部落的首领，叫做哥舒道元，曾经做过唐代安西大都护府的副大都护，哥舒翰的家族世居安西，他也生在安西大都护府的所在地龟兹（今新疆库车县一带）。
哥舒翰生在旺族，他家有权有势，也很有钱财。他在青少年时代，讲侠义，好纵酒，凡是别人有求于他，只要他答应了，就一定办到。当他四十岁的时候，他父亲在京城长安去世了，他到长安守孝三年。朝廷任命他去做长安县尉，县尉这个官职，相当于今天的县公安局长。他嫌县尉太小，无法施展才能，一气之下，就跑到河西从军去了。
他到河西的首府凉州（今甘肃武威）就投在河西节度使的门下当一名军官。不久，王忠嗣接替王侄担任节度使，又把哥舒翰提拔为衙将。
哥舒翰喜欢读书，特别是对《左氏春秋》、《汉书》最感兴趣。由于他疏财仗义，下级军官和士卒们都很敬重他。于是王忠嗣就派他独挡一面，去担任大斗军副使。大斗军驻防在大斗拔谷（在今甘肃民乐县东南，甘、青两省交界处的扁都口），那里是河西走廊通往青海的捷径。因防守有功，哥舒翰被晋升为左卫郎将。后来吐蕃寇边，哥舒翰命部下分三队出击，拒战于苦拔海，他自己手持半段枪，身先士卒抵挡敌军的锋芒，一路冲杀所向披靡，从此威名远扬。
天宝六年（公元747年），他担任了陇右节度副使、都知关西兵马使。陇右，就是今天甘肃的陇山、六盘山以西和黄河以东一带。关西，就是今天的函谷关或潼关以西的地段。在他到任以前，每到麦熟季节，吐蕃的酋长就率领部众到积石军来抢夺麦子，并且还狂妄地把积石军称做“吐蕃的麦庄”，他们可以随心所欲地抢夺，却从没有人敢去阻挡。哥舒翰听了十分气愤，他派出两名将领带着军队去打埋伏，等吐蕃五千骑兵一来，他率领主力从城中奔驰出击，打得敌人丢盔弃甲，夺路而逃。伏兵四起，直杀得敌人匹马不还。
哥舒翰有个家奴，名叫左车，年龄只有十五，六岁，臂力过人。每次出战，他就跟在哥舒翰身边，每当哥舒翰追上敌人，常常以枪搭在敌人肩头，一声大喝，吓得敌人赶忙回头，哥舒翰趁他回头，一枪刺中咽喉，挑起三、五尺高甩到地下，左车跃马上前割下头颅，敌军见了，无不丧胆。
这年冬天，宰相杨国忠一看王忠嗣权限太大，对自己是个威胁，就唆使人告密诬陷王忠嗣，唐玄宗一怒之下，罢了王忠嗣的官。玄宗召见哥舒翰，拜他为鸿胪卿（专管少数民族事务的官职，相当于今天的中央民族事务委员会主任），并委他代行王忠嗣的陇右节度使的职权。哥舒翰全力保谏，营救王忠嗣，唐玄宗听不进良言相劝，起身退朝后宫走去，哥舒翰竟然冒着触犯皇上的罪名，追着求情，他言词慷慨，声泪俱下，玄宗很受感动。于是对王忠嗣从宽发落，把削职为民改为贬官汉阳太守。朝中大臣们都夸赞哥舒翰是个忠义之人。
天宝七年（公元748年）哥舒翰在青海湖建立神威军，不久被吐蕃人攻破，毁掉。他又在青海湖的龙驹岛上修筑应龙城，从那以后，吐蕃人害怕他的威力，再也不敢靠近青海湖了。于是吐蕃军队为了和唐朝军队保持对峙的局面，就退守石堡城离唐朝大军的驻地，道又远，路又险，攻打多次，总是拿不下来。
天宝八年，唐玄宗命全朔方、河东的十万少数民族的骑兵归哥舒翰调遣，不到十天，就把石堡城攻破了。为了嘉奖他的功劳，玄宗拜哥舒翰为特进（文散官的第二阶，相当于正二品）、摄御史大夫。天宝十一年，加开府仪同三司（唐为文散官第一阶，相当于正一品。开府仪同三司，即可以按照宰相、御史大夫、太尉三公的成例开府设官）。
哥舒翰与安禄山的关系素来不和，两个人一到一起就发生口角。唐玄宗把他俩视为国家栋梁，常常劝他们和解以兄弟相称。天宝十一年冬天，两个人同时来朝，唐玄宗让宦官高力士在驸马崔惠童府上的池亭里摆御宴特地款待他们两人。
哥舒翰的母亲是于阗尉迟氏，安禄山在酒席宴上故意和他套近说：“我的父亲是胡人，母亲是突厥人，你的母亲是胡人，父亲是突厥人，咱们俩的血统一样，应该亲近些才是。”哥舒翰回答说：“古人曾说，山野中的狐狸对着洞窟而嚎，那是忘本的行为。”安禄山以为这是哥舒翰在讽刺他是胡人，大怒，指着哥舒翰骂道：“你这个突厥野老竟敢如此无礼。”哥舒翰正要对骂，高力士急忙劝阻。
天宝十二年，玄宗皇帝封哥舒翰为凉国公，食实封二百户，并正式任命为河西节度使。不久又晋封为西平郡王。当时杨国忠和安禄山争权，几次秘密奏明皇上，说安禄山要谋反，因此他就想法扩大哥舒翰的职权，借以和安禄山的势力抗衡。天宝十三年，拜哥舒翰为太子太保兼御使大夫。
哥舒翰，好纵酒，姿情声色。有一次，他到土门军视察，去浴室洗澡，由于酒精中毒，又受了风寒，就晕倒了，好长时间才苏醒过来。因此，他只好回到长安，在家抱病不出。
后来，当安禄山起兵造反，封常清和高仙芝连连失败，玄宗无奈，不得不求助于这位身患重病的老人了。拜哥舒翰为皇太子先锋兵马元帅，要他统领二十万大军出征御敌，去前线镇守潼关。玄宗皇帝亲自在勤政楼犒劳他，并且命满朝文武百官到郊外为他饯行。
天宝十五年，任命哥舒翰为尚书左仆射，同中书、门下平章政事。按唐朝官制，皇帝之―下，中央设尚书、中书、门下三省，三省的长官尚书令、中书令和侍中同为宰相。唐太宗之后，尚书省不设尚书令，仆射即是尚书省的长官。唐中宗以后，仆射、中书、门下省平章，政事者，不得为宰相，因此在哥舒翰的尚书左仆射的头衔下，又加上了“同中书、门下平章”，就可以执行宰相的职权了。
哥舒翰一到潼关，就有谋士劝他说：“现在安禄山造反，他打的旗号是以诛灭杨国忠为借口，如果你留下三万人马驻守潼关，然后就带领十七万精兵去诛杀杨国忠，那么安禄山就是出师无名了，你以为如何？”哥舒翰心里赞同，可是他并没有去做。
偏巧，这个机密却被他身边的人向杨国忠告发了。杨国忠一听心里非常害怕，于是他向玄宗奏了一本：“臣闻兵法最讲究居安思危，眼下我们把兵力都集中到潼关去了，又没有后继兵源，万一潼关失守，京城也就难保了。”经玄宗批准，又招募一万人马屯于霸上，杨国忠令其心腹杜乾运统领，名曰后卫，实际上是用来防止哥舒翰回兵京师诛灭他的。
哥舒翰一看杨国忠先下手了，就上表奏明玄宗把杜乾运的兵马让他统管，玄宗准奏，哥舒翰就以到潼关议事为名，把杜乾运给斩了。从此哥舒翰心事忡仲，风湿症更重了。他心有余而力不足，自己无法处理军务，只好把军事大权交给了行军司马田良丘，让田良丘执掌兵权，好多将领不服，他们不听调遣，各自为战，把一个好端端的军队搞成个七零八散，失去了统一行动，战斗力大大减弱了。
起先，当哥舒翰一出任讨伐“安史之乱”的兵马元帅时，他就向皇帝建议说：“陛下请不要担心，别看安禄山占领了河朔一带，他们的所作所为都很不得人心，只要我们坚守城池，不让他的势力再得到发展，困上他一段时间，他们内部就会发生争权夺利的矛盾，造成自相残杀，等他们的力量减弱了，我们再出兵征讨，是很容易打败他们的。眼下他们锋芒毕露，一致对外，我们就是付出重大伤亡，要想战胜他们也是非常困难的。”玄宗求胜心切，不但不采纳哥舒翰的计策，还强令哥舒翰马上出兵。
当时安禄山手下有一员大将叫崔乾裙的很有谋略，他把自己的精锐部队隐蔽起来，却装成毫无戒备的样子，玄宗却信以为真，就让哥舒翰先去打他。哥舒翰劝玄宗说：“安禄山是个久经沙场的人物，他怎会容许他的部下毫无戒备呢，这明明是个阴谋，我们千万不能中他的圈套。况且贼兵从远道而来，利在速战速决。我们官军原地未动，利在坚守，因此，我们是不能轻易出击的，否则，就很容易上当。”
杨国忠害怕哥舒翰诛灭他，就一味唆使玄宗出兵。玄宗由于久处太平，不懂军务，也就听信了杨国忠的话，派遣宦官边令诚前去督战，哥舒翰不得已，乃率军出关迎敌。
天宝十五年（分元756年）六月八日，哥舒翰率军出灵宝县西，与贼兵交战，崔乾裙只有几千人，他们且战且走，直到把二十万官军引诱进一条死胡同，就去占据制高点。哥舒翰一见南面是峰峦陡峭的祁连山，北面是汹涌澎湃的黄河，前面又有贼兵居高临下，控制着通道。官军就象竹筒中装满的豆子一个挨一个前挤后拥的向前滚。
哥舒翰明知中了贼人的奸计，想要摆脱困境已经来不及了。于是，他乘浮船在黄河中流指挥战斗。当时，唯一的出路，就是冲破前面贼兵的堵截，他一看崔乾裙的兵马少，就督促将士奋勇前进，将士们为了活命都夺路冲锋，队伍一下子全乱了套，指挥失灵。
下午天气骤变，刮起东风，崔乾裙一看时机到了，急忙命令部下把几十辆装满干草的大车点着，纵火焚烧，顿时烈焰腾空而起，浓烟弥漫，呛得官军睁不开眼，看不清路，后军见前军一乱，以为吃了败仗，互相排挤践踏，好多人掉进河里，死者数万人，号叫之声惊天动地。一些人无奈只得把器械，枪棒捆绑在一起做成筏子渡向北岸。活下来的十个人中也剩不下一两个了。
官军惨败已成定局，哥舒翰率领几百名骑兵突围，突围后，在归途中歇息的时候，哥舒翰被他的部将火拔归仁捆绑起来，去向安禄山邀功领赏，安禄山一见哥舒翰，便狂放地大笑：“哈，哈，哈，你这个高傲的突厥呀，今天还敢轻视我吗？ ”哥舒翰挑战式说道：“哎！安禄山，有种的，你就杀了我。”安禄山狡猾地说：“不，我要你活下来，对我面君称臣，为我所用。”可是，哥舒翰并没能使安禄山称心如意。不久，安禄山就叫他的心腹暗暗地把哥舒翰杀死了。
在蘅塘隐士选编的《唐诗三百首》中，收进了一首题为《哥舒歌》的五言绝句，诗中写道：“北斗七星高，哥舒夜带刀。至今窥牧马，不敢过临洮。”耐人寻味的是其他诗都署上作者的真实姓名，唯独这首诗却假托是西鄙人作的，按中国的姓氏是没有单姓西字的，所谓西鄙人无非是暗示作者只不过是个河西的无名之辈罢了。其实，这首诗的内容却是充分地反映了唐代居住在陇右一带的黎民百姓对哥舒翰的信赖和赞颂。