可李白天生不是当官的料，以他持才傲物，落拓不羁的性格，很快就引起了杨贵妃，高力士和杨国忠等实权人物的不满。《力士脱靴》的故事古今流传：据说皇上曾经让李白写一篇公文，这活儿只有颇懂蛮文的李白能干，因为李白小时候曾经在西域呆过。李白向来痛恨那些仗势欺人的奸猾小人，于是便让相国杨国忠给他研磨，宦官头子高力士给他脱靴，大大地羞辱了他们一番；据说有一次皇帝让他作诗，他还暗暗把杨贵妃比作汉成帝年间的"亡国祸水"赵飞燕，引起贵妃的不满。于是，不到两年的时间便被唐玄宗打发了。当然，皇上也不会轻易得罪李白，只是说让他回家休息一下，并赐给了他许多银子。
道士吴筠也不喜欢宫廷生活，颇懂道教音乐的他曾经为皇宫的演出制作过几首曲子，此后也就感到没有什么事情可做，于是主动请退，并与李白相约到东海崂山，因为他早已对这座神仙魔窟，道教丛林向往之至了。李白恰好在山东还有经商的亲戚，于是由京城而济南，由济南而崂山，这是个不错的选择。
公元744年，李白和吴筠来到崂山。当李白登上崇山峻岭看到这幅山海雄阔的画卷时，不禁惊呆了，尽管他走遍了天下（中国）的名山大川，然而辽阔雄浑，激荡彭拜的沧海他还是第一次看到。恍惚中，他联想到曾经读过的诗篇，他似乎看到了秦皇汉武曾经追随的仙人安期生，于是便吟诗一首，表达了自己愿意随之隐居修道的愿望："我昔东海上，劳山餐紫霞。亲见安期公，食枣大如瓜。中年谒汉主，不惬还归家。朱颜谢春辉，白发见生涯。所期就金液，飞步登云车。愿随夫子天坛上，闲与仙人扫落花。"
啊，我在东海的崂山上，与有名的神仙安期生不期而遇了，看见他吃的枣子竟然像瓜果一样大。看来为朝廷服务的愿望是难以实现了，还不如跟着安期生吞云驾雾，做个快活神仙罢了……
