在这段时间，他认识了当时任尚书右丞的王维，两人成为忘年之交，经常诗画相酬。传说，有一次王维邀请孟浩然入内署，两人尽情地谈诗论文，谈兴正浓时，唐玄宗驾临，孟浩然是布衣，所以他急忙躲到床下去。唐玄宗进入屋子后，得知王维刚才与孟浩然饮酒谈诗。
唐玄宗很早就听说孟浩然的大名，只是无缘相见，今日非要见见这个布衣诗人。孟浩然从床下钻出拜见玄宗，玄宗便命他吟诗，谁知，孟浩然过于惊慌，随口便吟出："不才明主弃，多病故人疏。"意思是："我孟浩然没有才能以致英明的君王弃我不用，又因多染病痛都疏远了老朋友。"
唐玄宗听了，顿时龙颜大怒，说："你不想当官，反倒打一耙，说我抛弃你，真会诬陷人！"说完拂袖而去。由于惹怒了皇帝，孟浩然想在京城求仕的愿望也就化为泡影。
