于是在公使任上，他十分留意英国教育和科学状况，访问了学校、博物馆、图书馆、报社等，结识了众多专家学者，以花甲之龄学习英语，出席各种社会活动，为了研究英国政治，甚至列席旁听过下院的辩论。种种经历和体会，被他编入《使西纪程》，寄回中国，没想到立刻引发轩然大波。总理衙门大臣李鸿藻阅后，"大为不平，逢人诋毁"。 好友李慈铭读后，痛斥他不该对蛮夷之国"极意夸饰"。只有 李鸿章一人支持： "崇论闳议，洵足启发愚蒙"。
但支持的声音毕竟太微弱。慈禧太后下旨严厉申斥郭嵩焘，并禁止了《使西纪程》的出版。1878年，郭嵩焘在同胞的唾骂中回国。从此彻底归隐乡里。1891年，郭嵩焘黯然去世。此前，他曾经写诗一首，表达内心落寞：
拿舟出海浪翻天，满载痴顽共一船。
无计收帆风更急，那容一枕独安眠？
他死后，甲午战争爆发。这一回，面对三千年未有之大变局，将有更多国人从迷梦中醒来。
