张九龄同样出身于非士族家庭，他的祖父因担任韶州别驾，所以全家迁居到该地，成为被视为瘴疠之地的居民。他的祖父是中下级官员，他的父亲没有做官，因此张九龄完全是靠着个人的才能拼搏出来的。
张九龄的文学才华出众，他13岁就曾经写信给广州刺史王方庆，王方庆十分欣赏他的文学才华，认为他必将一鸣惊人。果然，他参加进士科的考试，然后入仕做官，被任命为校书郎。校书郎虽然没什么实际权力，但文采出众者往往都是在这个职位上得到进一步升迁的。张九龄就是如此，当时的太子李隆基选拔那些文学之士，考察他们的政治能力，张九龄所写的对策被评为最高等级，顺利地通过这次选拔，被任命为右拾遗。
凭借着过人的文才和对人物的品鉴能力，张九龄曾多次被任命为科举考试的阅卷官员，以公允著称。值得一提的是，他的升迁并没有出现飞跃，而是按照当时的升官序列，一步一个脚印地靠着才干得到提拔。就这样，他先后做到了吏部的司勋员外郎和中书省的中书舍人。
当时的文坛巨子、宰相张说十分欣赏张九龄，他认为张九龄必将是日后的文坛领袖，因此对他十分照顾。后来张说被同僚倾轧而罢相，张九龄也受到牵连，被外放为地方刺史。他本来要去东部任职，但考虑到母亲年老，他便主动请求到南方去，因此先后在洪州、桂州一带为官，增加了地方管理经验。后来，唐玄宗召他回京，任命为秘书少监、集贤院学士，而后又升他做中书侍郎。至此，他才真正从一个文学之士转型为中央的政务官员。他针对当时的政策存在的问题，提出了若干改进措施，唐玄宗多有采纳。
到了开元二十一年，张九龄正式被任命为宰相同中书门下平章事，当时唐朝已经进入最鼎盛的时代，他则站在历史的高峰上，对唐代未来的发展进行了规划。当然，文学之臣的出身，让他对于各级政务机构的工作并不完全了解，所以他提出的畅想在落实上总有问题。可是，应该看到，在以经验主义为基础的古代官僚体制下，张九龄能够做全局、宏观的考虑，对国家的未来提出发展思路，是非常难得的，如果那些精通行政工作的官员能够予以配合的话，唐朝可能不会转向衰乱，而是应该出现一波又一波的高潮。
但是，当时以具体、务实的行政能力而著称的吏治派代表李林甫因为个人的私欲，处处针对张九龄进行非难。同时，唐玄宗李隆基也觉得张九龄的想法虽然好，但从短期来看不易实施，也就渐渐疏远了他。开元二十四年，张九龄罢相，不久后因病去世。