在这之后，徐鹏举便上书弹劾刘瑜，使得刘瑜被罢免，两家也因此开始结仇。多年以后，刘世延继承诚意伯之位，同样来到南京任职。嘉靖三十九年，振武营士兵再次造反，徐鹏举被吓得不敢出面，最终还是刘世延与士兵谈判解决了此事。本是自己手下的士兵造反，结果不仅自己被吓得仓皇而逃，还得让一个文官出来平息此事，这下徐鹏举可算是丢尽了脸面。
但是这还不算完，两人就某件事产生分歧，准备上奏朝廷，但徐鹏举却不肯在奏章上签字。刘世延直接拿起笔来就替他签上了名字，徐鹏举听说后十分生气，并上书说明情况，说刘世延这是犯了冒名顶替罪。最终刘世延被罢免，直到几年后才得以恢复职位。
此时徐鹏举年事已高，该考虑传位的问题了，而他最喜欢的就是小儿子，但按照当时的制度，继承爵位的应该是长子。徐鹏举想把位子传给小儿子也不是不可以，但必须得到上面的批准，于是他托人上下打点，但因动静太大，竟然被人捅到了皇上那里。皇上在调查此案的过程中，不小心把刘世延牵扯进来，刘世延赶忙上书表明自己和徐家是世仇，所以两家不合的事才为人所知。
