在胡石塘来到大都之后，忽必烈亲自在殿堂之上接见他，但是由于他前往觐见皇上的时候比较着急，所以不小心把自己的帽子戴歪了。于是忽必烈问他："你平时学习的都是哪些学问?"胡老先生赶紧回答："是修身齐家治国平天下的学问。"
于是忽必烈冷笑着说了14个字："自家一笠尚不端正，又能平天下耶?"也就是说，你连自己的帽子都戴不端正，你又有什么本事平天下呢?这一番说得胡老先生冷汗直冒、面红耳赤。不过忽必烈虽然没有重用他，但是却也看他老实可怜，于是授予了他扬州路儒学教授这样一个闲职。
不过其实在小编看来，胡老先生之所以没有把握住这次机会，看起来似乎是细节上的小失误，实际上也和胡老先生自己的性格有关系。毕竟作为当地名士天生就才高气傲，有点脾气不拘小节是很正常的事情，因此不被忽必烈待见其实再正常不过了。
