但此后赵文华也并没收敛自己圆滑、骄横的习气。他一方面既讨好严嵩又讨好皇帝，让自己不断得到升迁，并被派到江南巡视抗倭事宜。趁此机会他陷害浙江总督张经、俞大猷等人，颠倒是非、谎报战功，一度总揽了江南军务大权。
回到朝堂之后的赵文华，已算是"功勋卓著"，得到嘉靖皇帝和严嵩的赏识，这种赏识也让他的骄横之气日盛，仗着自己的功劳，仗着有严嵩这个大靠山，仗着皇帝对自己的宠爱，甚至连皇帝都已经不放在眼里了。皇帝派人到他的府上宣旨赏赐，他却喝醉了，"拜跪不如礼，帝闻恶其不敬"。
赵文华向皇帝敬献药物，皇帝吃了觉得挺好，派人找他再多要一点，他却不给。皇帝让他负责建造西苑楼阁，他却延误工期，迟迟建不好。有一天嘉靖登高远望，看到长安街又多了一处耀眼的新宅，一问才知道这是赵文华给自己盖的豪宅。这让皇帝气不打一处来，建造西苑没时间，却大把的功夫来给自己建房子。凡此种种让皇帝对他的宠爱日渐消退，逐渐明白他这是瞧不起皇帝啊！于是对他增加不少怨恨。
后来嘉靖又让他负责建造正阳门楼，他又是迟迟建不好，这让皇帝长期以来心中对他的不满彻底爆发。嘉靖想要将他革职查办，但碍于严嵩的面子，提前找严嵩商议。严嵩并不清楚嘉靖的用意，还帮赵文华说话，并且让赵文华自称是生病了，嘉靖便顺势让他回家养病。
但这种做法既不能打消嘉靖对他的怨恨，也无法让被他迫害、受他压迫的群臣解气。《明史》记载：帝虽逐文华犹以为未尽其罪，而言官无攻者，帝怒无所泄。所以后来嘉靖又借机直接将他罢官为民，还把他的儿子发配充军。革职退休赵文华在家一直闷闷不乐，总是揉肚子，结果生生把自己揉死了。（"一夕手扪其腹，腹裂，脏腑出，遂死。"）这种死法也是奇葩，在历史上还是头一回！
后来又有人告发他侵吞军饷十多万，嘉靖便趁机抄了他的家来追赃，此时他家的财产已经换不起他吞没的赃款了。皇帝便把他一家都发配充军，以此来抵债。于是这笔钱一直赔偿到了万历年间，近30年时间也还没还清一半，有人可伶他的家人，替他们求情希望能免除债务，可后世的明神宗却谨记爷爷的教诲，让他们一直赔下去！
