曹魏后期，张华仍居乡未仕。当时门阀世族势力方兴，标榜门第阀阅的风气日强。张华因家 族势力单薄，自幼孤贫，虽才华横溢，德行严谨，却一时未能见知于世。同时，他目睹了在曹马斗争中荣辱不定、诛黜无常的政治现状，又受到广为流传的玄学思想 的影响，难免产生出愤世嫉俗的情绪。
名士陈留阮籍看过之后，赞扬张华可谓“王佐之才也！”张华由此声名鹊起。同郡大族名士曹魏吏部尚书卢钦见到张华后，十分器重他。同乡大族曹魏左光禄大夫、方城县侯刘放“亦夸其才”，将自己的女儿嫁给张华。
张华在25岁左右时，被范阳郡太守鲜于嗣推荐为太常博士。吏部尚书卢钦在辅政的司马昭面前对张华倍加推崇，张华又转为佐著作郎，参与编撰国史。不久，张华迁长史，兼中书郎。他才识过人，思维敏捷，“朝议表奏，多见施用”，深得司马昭赏识，遂正式任命他为中书郎。
晋武帝禅代曹魏，转张华为黄门侍郎，封关内侯。张华接近皇帝，位居要冲，具有相当大的实权。他习于吏事，“强记默识，四海之内，若指诸掌”；他史识渊 博，“善谈史汉”，谙通封建典章制度。晋武帝曾问他汉代宫室制度和建章宫的千门万户，张华“应对如流，听者忘返。画地如图，左右属目”，使人大有亲临其境 之感；他博通礼乐制度，亦具有很高的文学素养。泰始五年（公元269年），晋武帝修定礼乐，命张华与太仆傅玄、中书监苟勖等人创作正旦行礼、王公上寿酒、 食举乐歌，共十三篇，张华一人即写了《冬至初岁大会歌》、《宴会歌》、《命将出征歌》、《劳还师歌》、《宗亲会歌》、《正德舞歌》、《大豫舞歌》等八篇。 诗歌采用四言或五言诗的形式，内容主要是盛誉司马氏功德、粉饰西晋太平盛世，宣扬皇道德教，虽音韵逗留曲折，诗句庄重典雅，但与《鹩鹪赋》相比，在思想内 容和社会意义方面均不可同日而语。
但张华也创作出一些脍炙人口的传世之作。他著《博物志》十篇。《博物志》闻见甚广，取材宏富，是张 华渊博的知识、剪裁取舍材料的技巧和雄厚坚实的文学功底的集大成。只是《博物志》中因多载怪异，而在某些方面不那么切实可信。他还创作了一些四言和五言 诗，流传至今的虽寥寥可数，但从中仍可窥见他的丰富的情感世界和宏大的政治抱负。在《杂诗》一首中，他慨叹“晷度随天运，四时互相承”，遂“伏枕终遥 昔”，回顾了历代兴来隆替的历史，不由得“永思虑崇替，慨然独抚膺。”一个胸怀大志，希望建功立业，憧憬清明稳定的政治局面的政治家的形象，跃然纸上。在 《情诗》二首中，张华用苍凉苦楚的伤感笔调，表达了与佳人离别后的闲愁哀怨的心情。“佳人处遐远，兰室无容光”，“不曾远离别，安知慕俦侣”等佳句，虽只 是个人悲欢离合的抒发，却反映了他对爱情忠贞不贰的信念和情操。
张华所著的四言诗《励志诗》气宇不凡，颇具教益，是一篇不可多得的佳 作。诗文带有一定的老庄思想色彩，同时又仍以儒家思想作为最高的行动准则。它对仗工整，又不枯燥无味；它引经据典，却不流于晦涩。诗文一开头的“大仪斡 天，天回地游，四气鳞次，寒暑环同，星火既夕，忽焉素秋”几句，即让人感到“逝者如斯，曾无日夜”的时不我待的紧迫感。在这种日与月与，茬苒代谢“的形势 下该如何立身处世呢？他的回答是：懂尔庶士，胡宁自舍”应以儒家经典作为座右铭，即“先民有作，贻我高矩”用玄学思想安身立命，即“安心恬荡，栖志浮 云。”他告诫人们不要“放心纵逸”而是要像耕耘南亩一样去修身修德，“力、来既勤，……必有丰殷”他用“水积成渊土积成山高以下基，洪由纤起，川广自源， 成人在始，累微以著，事物之理，墨牵之长，实累千里”等形象的比喻，说明了只有矢志不渝，才能达到理想境界的辩证关系。他勉励人们要戒骄戒躁，做到“山不 让尘，川不辞盈”用“若金受砺”和水滴石穿的精神，去“进德修业以隆德声”实现复礼终朝，天下归仁的政治抱负。《励志诗》是张华政治思想和哲学观完全成熟 的标志。儒玄并用，以儒为主，是张华世界观的基础和核心。
在这种十分适应当时封建统治需要的世界观的指导下，张华在从政过程中披肝沥胆，政绩突出，不仅深受晋武帝赏识，而且亦博得朝野上下的好评，时人比之为子产。不久，40岁左右的张华就被擢为中书令，后加散骑常侍，成为西晋最高统治集团的成员。
张华在任中书令期间的最大贡献就在于促成并制定了伐吴大计，从而加快了南北统一的步伐。
咸宁初年（公元275年），距西晋代魏已有十年，距灭蜀也已过十二年。时西晋统治阶级内部矛盾缓和，边境战事不多，经多年休养生息，国力强盛，“大晋兵 众，多于前世；资储器械，盛于往时”。而割据江南一隅之地的孙吴，则在暴郡孙皓的统治下，各种矛盾急剧激化。在孙皓毫无限制的横征暴敛下，“民力困穷，鬻 卖儿子，调赋相仍，日以疲极”，“老幼饥寒，家户菜色”，可谓“将疑于朝，士困于野，无有保世之计，一定之心”（《晋书·羊祜传》）。西晋攻伐孙吴，取乱 侮亡，统一全国的时机业已成熟。当时，镇守江汉地区的征南大将军、都督荆州诸军事、荆州刺史羊枯上疏晋武帝，陈“宜当时定，以一四海”。晋武帝召集群臣朝 议。司空、尚书令贾充、中书监苟勖和左卫将军冯等人“同共苦谏不可”，郡臣亦多附合，以当时关陇地区氐羌少数族屡叛，官军屡败为由，多不赞成羊祜的建 议。只有张华据理力争，与羊枯、杜预共同主张立即伐吴。晋武帝虽“密有灭吴之计”，却因“朝议多违”而未做出伐吴的决断。