高力士常被人看作一生的污点，也是高力士在戏台上被人描绘成丑角的主要原因，那就是他是否给李白脱过靴，并因此而陷害李白。李白（701年-762年） ，字太白，号青莲居士，又号“谪仙人”，汉族。《唐才子传》描绘过一个生动的故事，说的是李白曾经骑着一头驴路过华阴县，冲撞了华阴县长官，县令喝问：你是谁啊？
李白回答说：“曾令龙巾拭吐，御手调羹，贵妃捧砚，力士脱靴。天子门前，尚容走马，华阴县里，不得骑驴？”（《唐才子传》卷二）皇帝用他的手巾给我擦呕吐物，亲自为我调过羹汤，贵妃为我捧过砚台，高力士给我脱过靴子，天子门前我都被特许骑马，怎么到你这华阴县就不让骑驴了？县令听了吓得赶紧行礼：原来是李翰林。李白大笑而去。
故事很生动，但是这事儿是真是假呢？记载高力士脱靴之事的主要有三条史料，分别是《唐国史补》《酉阳杂俎》和《旧唐书》。故事都大同小异，说李白在当翰林待诏的时候，经常喝酒，唐玄宗有一次召见李白，让他写诗，李白趁着酒兴，大笔一挥，写得兴致盎然，然后有点得意忘形了，举起脚来对高力士说：“脱靴！”高力士当然十分不愿意，可是想到这是皇帝喜欢的诗人，于是也就蹲下来给他脱了。后面的故事呢？三条史料都说唐玄宗一见李白这个做派，很不高兴，觉得李白举止轻佻，李白因此而失宠。
这三条史料内容相近，结果也类似，应该是有共同的史源。其实我对此表示高度怀疑：李白不过是翰林待诏，这在当时仅是个供皇帝消遣的职位，他即便是醉了，是否就有胆量让高力士脱靴？李白看似性格狂放不羁，实际上是很小心翼翼的人，从他对待其他官僚的态度就能看出来，所以我认为他没有这个胆量。
另外，范传正给李白撰写的《唐左拾遗翰林学士李公新墓碑》记述此事时说：“他日泛白莲池，公不在宴。皇欢既洽，召公作序。时公已被酒于翰苑中，仍命高将军扶以登舟，优宠如是。”他指出那一次李白的确喝醉了，皇帝命令高力士把他扶上船，没提到脱靴一事。这是墓碑，要比其他人的记述更可靠。明人钟泰华《文苑四史》也对脱靴故事表示怀疑，认为所谓脱靴“恐出自稗官小说”，不可信。既然脱靴之事尚且存疑，那么与此相关的所谓高力士陷害李白就是无稽之谈了。