由于孙思邈自幼常年多病花钱吃药几乎倾家荡产，18岁时他立志从医，研读《黄帝内经》等古代医书，到了20岁，就能侃侃而谈老子、庄子的学说，并对佛家医家的经典著作十分精通，被人称为"圣童"。但他认为走仕途，做高官太过世故，不能随意，就多次辞谢了朝廷的封赐。
当时，隋文帝让他做国子博士，他也称病不做。唐太宗即位后，召他入京，见到他50多岁的人竟能容貌气色、身形步态皆如同少年一般，十分感叹，便道："所以说，有道之人真是值得人尊敬呀！像羡门、广成子这样的神仙人物原来世上竟是有的，怎么会是虚言呢？"皇帝还想授予他爵位，但仍是被孙思邈拒绝了。高宗继位后，又邀他做谏议大夫，也未被允。
公元581年，孙思邈隐居钟南山，潜心研究医术，就在他归隐的时候，高宗又赐他良驹，还有已故的鄱阳公主的宅邸居住，就连当时的名士宋令文、孟诜、卢照邻等文学大家都十分尊敬他，以待师长的礼数来侍奉他。
