张氏兄弟胡作非为，张家人狐假虎威，就连当时的民间普通百姓都很反感。有些人甚至把他们贩卖的小吃改成张家兄弟的名字，供人吃喝。朝廷上的大臣们终于坐不住了。即使在酷吏时代，依然有据理力争、搞死酷吏的大臣，如今武则天对待大臣更为温和，他们更不会坐视二张干预朝政，很快，朝臣们开始联手反击。大臣们开始找张氏兄弟的麻烦。文臣们熟通法理，张氏兄弟平日贪赃枉法也留下不少把柄，他们几乎不费力气就找到了这对兄弟的犯罪证明。他们开始试图依照国家法律，来逼迫武则天处置这对无法无天的兄弟。首先被提上日程的是张昌宗的霸占农田案件。在武周朝，农田受到官府保护，不论什么样的官员都不能随意侵占，若有违规，既要缴纳罚款，同时会被免去官职。
当御史台的官员检举张昌宗占了大量农田，提议必须从严处罚时，却由二张的亲信经手了此案，只让张昌宗交纳了少量的罚款，官职照旧。御史台的官员们不依不饶，事情闹到了武则天面前。武则天当然要庇护她的张郎，只听她对大臣们说："张家兄弟于国有功，就宽恕他们一次吧。"有大臣忍不住讽刺："张家兄弟人卑位高，于国有何功劳？"武则天一时语塞，这时一向对张家兄弟溜须拍马的宰相杨再思说："张氏兄弟为陛下炼制丹药，让龙体无恙，这不是大功吗？"武则天连连点头。就算女皇一而再，再而三地庇护张氏兄弟，仍有大臣不肯善罢甘，曾为边疆和平立下汗马功劳的唐休璟就是其中之一。他一再要求追究二张的经济问题，女皇疲于应对，只好将他调到外地，以图眼不见为净。
唐休璟愤恨不已，无奈武则天调令已下，他只好离开京城临走不忘嘱咐同僚们再接再厉，务必不要放过两个小贼。另一起贪污案也被揭发，在朝廷的工程中，张家人靠着裙带关系成了工程负责人，大捞油水。这位亲戚正是李迥秀，在辈分上，他是二张的继父。这位年纪轻轻的醉鬼不但贪污，还忽视工程质量，数罪并罚，也只是被下放到外地当刺史。这件事也让大臣们更加了解到二张的地位牢不可破，他们又开始想别的办法。武周长安四年（704），通衢大道上突然有人贴出密告，说二张想要谋反。御史台的官员们又拿出新的证据，证明张氏兄弟曾私自找人看相，而且他们还找到了人证，说出了相对张氏兄弟说的话。武则天最重视谋反，这一次，她可不能私枉法。人证既然在，张易之和张昌宗不能抵赖，承认的确去看过相，但谋反云云，纯属诬陷。
