会稽大族虞翻，曾经在王朗手下担任过会稽郡功曹，还没投降就开始给孙策当说客，让王朗投降，王朗不肯被孙策打败了，礼送出境。虞翻就此追随孙策，忠心耿耿劝降了华歆，还总是替孙策的安全着想劝他不要老是不带保镖就出门。孙策对他客客气气，还看望过他的老母，但也没有给他升官还是让他当功曹。
魏腾，同样出身于会稽大族，同样也担任孙策功曹。《三国志 吴书 妃嫔传》引会稽典录曰：策功曹魏腾，以迕意见谴，将杀之，士大夫忧恐，计无所出。夫人乃倚大井而谓策曰："汝新造江南，其事未集，方当优贤礼士，舍过录功。魏功曹在公尽规，汝今日杀之，则明日人皆叛汝。吾不忍见祸之及，当先投此井中耳。"策大惊，遽释腾。夫人智略权谲，类皆如此。应该是说错话得罪了孙策，孙策要杀他，被吴老夫人以死相逼救了下来。后来再无记载，估计也是投闲置散。
吴郡名士高岱和江南道教领袖于吉都是因为得罪孙策后，情愿救赎的人太多，声望太隆被孙策所忌惮而招致杀身之祸。更出名的吴郡四大家族--顾陆朱张，自汉代以来，州郡掾属例由州郡地方长官辟用本地人士担任，这种情况在江南同样存在，而且在吴郡表现得尤为突出。刘义庆《世说新语》有云: "吴四姓 ,旧目云: 张文朱武 ,陆忠顾厚。 "不仅列四姓之目 ,且分四姓所盛，自东吴以迄梁陈 ,三百多年间 ,顾陆朱张四姓 ,不仅屡朝簪缨,门第显赫 ,所谓"朝有世官 ,家有世业" ,百年来通婚不断，更是同气连枝。
孙策起兵之初过庐江不被陆康待见，受辱而归，事后借着袁术要打庐江，新仇旧恨一起算，围攻庐江两年终于破城，赔上陆氏家主陆康一条命，还搭上了吴郡陆家一半人丁，大族地位也差点不保。部曲直接被没收，直到陆逊后来征讨山越时，才靠强征山越以充部曲，恢复了元气。
所以四大家族在孙策有生之年基本上是非暴力不合作的态度。后世司马睿永嘉南渡，一开始也不得江南士人支持靠王导搞定了四大家族的顾家才站稳脚跟。孙策也面临同样问题，一方面既要依靠北来侨姓世族的支持而立脚江东，一方面又要争取南方士族的接纳以获得稳定和发展。不过孙策强势的性格成为孙吴和南方士族融合最大的障碍。自孙策携江淮虎狼东渡，对本地士族大开杀戒以来，改政权便背负了无法卸下的原罪，此后的斗争皆围绕这一主线展开。
