姚炜也是一个狠人，公开放话：
“他总以为所有女人都是为了他的财产，我就偏偏什么都不要！
随后姚炜搬进了父亲的廉租屋，生下了女儿赵式芝。
为了养活女儿，姚炜产后火速复出，并得到邵氏的重用，拍摄了《金大班的最后一夜》、《鬼马智多星》、《赤裸羔羊》、《红番区》等电影。
几十年后再看，姚炜是赵世曾众多女伴中最聪明也是赢得最漂亮的一个，女儿赵式芝成了赵世曾的“克星”，不仅让赵世曾拿她毫无办法，还夺取了财产。
1984年，赵世曾与另外一名女星盈盈（蔡珍妮）有一次走火，生下了儿子赵式浩，他依然没有结婚。
赵世曾说：
“结婚太麻烦，不但失去自由，离婚时还会被对方分割走大量的财产，太不安全！”
二、
八十年代初期，石油危机爆发航运业遭到冲击，”华光“航运业一度欠下67亿港元的巨债，在香港交易所被停牌，赵从衍不得不出售珍藏的古董和其他业务保全”华光“。
赵世曾见事不妙，立马将公司改名为“卓能集团”，经营高端房地产，很快和地产大亨李嘉诚、王德辉、刘銮雄等人打成一片。
