李渊一看其他寺庙也拆的七七八八了，就这少林寺还在磨磨蹭蹭的，于是他就下达了强拆令，结果皇帝下的强拆令也抵不过少林寺众僧人的团结一致，结果李渊也没辙了，建国初期根基也不是很稳，动刀子流血的肯定是不行的，于是他只能默许了少林寺的保留。不过这寺庙是保留下来了，不过皇帝很生气后果很严重，李渊直接把之前赏赐的田地全部给收回去了。
祸不单行，尚是秦王的李世民正陷在兄弟斗争中，根本无法顾及此事，况且高祖下令，秦王也很难改变分毫。而此时的高祖李渊见少林寺迟迟不拆，再有那些早已拆迁的寺庙作对比。
他对于少林寺的耐心也完全消磨掉，再次下了一道旨意，诏书中犀利指出，在原来的王世充的这片土地上，少林寺若是一直拒绝拆迁，便是公然与朝廷作对，其名声也会遭到影响。
最后事情也没有得到好的结果，少林寺本身就是铁板一块，拒绝拆迁的态度很是强硬，而高祖李渊也执拗于此。可是，少林寺并不是什么无名小寺，况且少林寺本身又有很庞大的群众基础，百姓向佛求安康和幸福，也为后代祈福，自然不甘心让少林寺被拆。
