后来恃宠而骄的王继先不但得罪了朝中许多大臣，并且他还怂恿赵构杀掉抗金名将刘锜，终于赵构开始反感他。失去了信任的王继先，被赵构免去御医之职，并发配到了福州。最终一蹶不振的王继先，在宋孝宗执政时期，病死在了福州。史料记载：王继先本为南宋不知名的小吏，其祖上为外科疡医，王家制出的黑虎丹曾闻名于南宋。外科疡医便是指通过外科手段治疗皮肤病的医生。可见黑虎丹不过是生肌去腐的丹药。
曾追随赵构南渡的王继先，因医术精湛，从一名小吏摇身一变成了南宋的奉宁军承宣使。但因王继先狡黠，仗权敛财屡遭当朝官员的弹劾。后又因王继先上奏赵构诛杀刘锜一事，被赵构贬到福州。王继先被贬后，其子王安道依然被赵构宠信，在南宋朝中任武泰军承宣使之职。绍兴年间王继先曾和医官，张孝直、高绍功二人一起校订了南宋《证类本草籍》，如今此医学典籍的残本，仍留存于世。
