当时太子和魏王党争，杜家也不知道谁会赢，只好两边押宝。杜荷的叔叔杜楚客选择站在魏王李泰一边，此事典出《新唐书房杜列传》语"如晦弟楚客，揣帝意薄承乾，乃为王谐媚用事臣，数言王聪睿可为嗣"。
杜家不想把鸡蛋放在一个篮子里，既然叔叔杜楚客站在了魏王一边，杜荷就只能站在太子李承乾一边了。李泰咄咄逼人，太子位置岌岌可危。杜荷知道李承乾一旦失败，他作为太子余党，下场一定会很惨。在太子一党生死攸关的时刻，杜荷去找术士颜利仁问计。
杜荷听信了颜利仁的星象天变之言，鼓动太子李承乾说:"颜利仁说天象有变，陛下当为太上皇。太子只要假装生病了，陛下就会来东宫看望殿下，我们就可以发动兵变，太子就可以登上皇位了。"此事典出《新唐书.房杜列传》，杜荷的原话是:"琅邪颜利仁善星数，言天有变，宜建大事，陛下当为太上皇。请称疾，上必临问，可以得志。"
