原来，贵妃那时以胡人安禄山为养子，出入宫禁，与之私通，满宫皆知，只瞒得玄宗一人。高力士说飞燕一事，正刺其心。贵妃于是心下怀恨，每于天子前说李白轻狂使酒，无人臣之礼。天子见贵妃不乐李白，遂不召他内宴，亦不留宿殿中。李白情知被高力士中伤，天子存疏远之意，屡次告辞求去，天子不允。乃益纵酒自废，与贺知章、李适之、汝阳王琎、崔宗之、苏晋、张旭、焦遂为酒友，时人呼为"饮中八仙“。却说玄宗天子，心下实是爱重李白，只为宫中不甚相得，所以疏了些儿。见李白屡次乞归，无心恋阙，乃向李白道：”卿雅志高蹈，许卿暂还，不日再来相召。但卿有大功于朕，岂可白手还山？卿有所需，朕当一一给与。“李白奏道：”臣一无所需，但得杖头有钱，日沾一醉足矣。“天子乃赐金牌一面，牌上御书：”赖赐李白为天下无忧学士，逍遥落托秀才。逢坊吃酒，遇库支钱。府给千贯，县给五百贯。文武官员军民人等，有失敬者，以违诏论。“又赐黄金千两，锦袍玉带，金鞍龙马，从者二十人。白叩头谢恩，天子又赐金花二朵，御酒三杯，于驾前上马出朝。百官俱给假，携酒送行，自长安街直接到十里长亭，樽罍不绝。只有杨太师、高太尉二人怀恨不送。内中惟贺内翰等酒友七人，直送至百里之外，流连三日而别。李白集中有《还山别金门知己诗》，略云：
恭承丹凤诏，欻起烟萝中。
一朝去金马，飘落成飞蓬。
闲来东武吟，曲尽情未终。
书此谢知己，扁舟寻钓翁。
李白锦衣纱帽，上马登程，一路只称锦衣公子。果然逢坊饮酒，遇库支钱。不一日，回至锦州，与许氏夫人相见。官府闻李学士回家，都来拜贺，无日不醉。日往月来，不觉半载。
一日，白对许氏说，要出外游玩山水，打扮做秀才模样，身边戴了御赐金牌，带一个小仆，骑一健驴，任意而行。府县酒资，照牌供给。忽一日，行到华阴界上，听得人言华阳县知县贪财害民。李白生计，要去治地。来到县前，令小仆退去，独自倒骑着驴子，于县门首连打三回。那知县在厅上取问公事，观见了，连声：“可恶、可恶！怎敢调戏父母官！”速令公吏人等，拿至厅前取问。李白微微诈醉，连问不答。知县令狱卒押入牢中，待他酒醒，着他好生供状，来日决断。狱卒将李白领入牢中，见了狱官，掀髯长笑。狱官道：“想此人是风颠的？”李白道：“也不风，也不颠。”狱官道：“既不风颠，好生供状。你是何人？为何此骑驴搪突县主？”李白道：“要我供状，取纸笔来。”狱卒将纸笔置于案上，李白扯狱官在一边，说道：“让开一步待我写。”狱官笑道：“且看这疯汉写出甚么来。”李白写道：
供状锦州人，姓李单名白。弱冠广文章，挥毫神鬼泣。长安列八仙，竹溪称六逸，曾草吓蛮书，声名播绝域。玉辇每趋陪，金銮为寝室。啜羹御手调，流涎御袍拭。高太尉脱靴，杨太师磨墨。天子殿前尚容乘马行，华阴县里不许我骑驴入？请验金牌，便知来历。
写毕，递与狱官看了，狱官唬得魂惊魄散，低头下拜，道：“学士老爷，可怜小人蒙官发遣，身不由己，万望海涵赦罪！”李白道：“不干你事，只要你对知县说，我奉金牌圣旨而来，所得何罪，拘我在此？”狱官拜谢了，即忙将供状呈与知县，并述有金牌圣旨。知县此时如小儿初闻霹雳，无孔可钻，只得同狱官到牢中，参见李学士，叩头哀告道：“小官有眼不识泰山，一时冒犯，乞赐怜悯！”在职诸官闻知此事，都来拜求，请学士到厅上正面坐下，众官庭参已毕。李白取出金牌，与众官看，牌上写道：“学士所到，文武官员军民人等，有不敬者，以违诏论。”汝等当得何罪？“众官看罢圣旨，一齐低头礼拜：”我等都该万死。“李白见众官苦苦哀求，笑道：”你等受国家爵禄，如何又去贪财害民？如若改过前非，方免汝罪。“众官听说，人人拱手，个个遵依，不敢再犯。就在厅上大排筵宴，管待学士饮酒三日方散。自是知县洗心涤虑，遂为良牧。此事闻于他郡，都猜道朝廷差李学士出外，私行观风考政，无不化贪为廉、化残为善。
李白遍历赵、魏、燕、晋、齐、梁、吴、楚，无不流连山水，极诗酒之趣。后因安禄山反叛，明皇车驾幸蜀，诛国忠于军中，缢贵妃于佛寺。白避乱隐于庐山。永王璘时为东南节度使，阴有乘机自立之志。闻白大才，强逼下山，欲授伪职。李白不从，拘留于幕府。未几，肃宗即位于灵武，拜郭子仪为天下兵马大元帅，克复两京。有人告永王璘谋叛，肃宗即遣子仪移兵讨之。永王兵败，李白方得脱身，逃至浔阳江口，被守江把总擒拿，把做叛党，解到郭元帅军前。子仪见是李学士，即喝退军士，亲解其缚，置于上位，纳头便拜，道：“昔日长安东市，若非恩人相救，焉有今日！”即命治酒压惊，连夜修本，奏上天子，为李白辨冤，且追叙其吓蛮书之功，荐其才可以大用，此乃施恩而得报也。正是：两叶浮萍归大海，人生何处不相逢。时杨国忠已死，高力士亦远贬他方，玄宗皇帝自蜀迎归为太上皇，亦对肃宗称李白奇才。肃宗乃徵白为左拾遗。