但是后来孔令辉在事业上接连受挫。2004年的雅典奥运会，孔令辉落选单打，和王皓的双打也未进前八。
在他的事业一落千丈的同时，马苏的事业则高歌前进。她与吴奇隆搭档出演《丝路豪侠》，和他传出绯闻，又接连拍了好多部戏，拿下了影后。
在这种对比下，孔令辉与马苏的争执逐渐变多。马苏在采访中提及过孔令辉曾让自己受伤，导致她很害怕小球。在一次和马苏争吵过后，孔令辉更是深夜将马苏赶出了房子。
再之后孔令辉与马苏的感情冷却了下来。外界一直有传闻孔令辉想与马苏结婚，但马苏不想结婚。或许是因为之前被赶出家门而心寒，也或许是因为事业还在继续猛冲的马苏不想现在就停下自己的脚步。
