五石散究竟会不会造成毒品一样的危害，我们不得而知。但从"石钟乳、紫石英、白石英、石硫磺、赤石脂"的药方中我们就能看出此物绝非可常食之药。或许孙思邈目睹了太多因五石散而导致的人生悲剧，所以他在临终前嘱托弟子，希望他们能帮自己删改医书中五石散的配方，防止它继续遗祸人间。可惜的是，五石散的药方虽然被销毁，但与之类似的丹砂之方仍在。
到了明朝，泰昌帝因红丸而暴毙；
清末鸦片流毒人间，这些都印证了孙思邈的先见之明。
孙思邈早期曾经在今陕西耀州区城东的北五台山隐居，后世人为纪念他，便改称此山为"药王山"，并在此处修建了药王祠，迄今尚存药王大殿，殿前有碑亭和碑石多通，其中一通金大定二十三年（1183年）始刻，元宪宗五年（1255年）另刻的碑石。
