但是，他认为自己的能力还有很大的提升空间，于是推辞掉孝廉这一称号，然后静下心来继续钻研学问。慢慢地，张昭的名气越来越大，连徐州刺史陶谦都听说了自己治下有个名字叫做张昭的才子。为了表示对张昭的欣赏，陶谦亲自举荐张昭，想重用他。但是，一心求学的张昭视功名利禄为浮云，直接回绝了陶谦。陶谦大怒之下，派人囚禁了张昭，想要逼张昭为自己做事。
最终，还是赵昱赶忙从中斡旋，这才救出了张昭。
后来，群雄之间纷争不断，战火很快烧到了徐州一带。为了避难，张昭和家人一起渡过长江，来到了南京一带。割据江东的孙策听说张昭到来的消息后很是高兴，没过多久便授予张昭长史和抚军中郎将的官职。与此同时，张昭也被孙策的雄才大略所折服，开始竭尽全力地为孙策做事。有了张昭的帮助，孙策少了很多后顾之忧，可以把更多的精力放在军事上。
建安五年(200年)，孙策遭人暗算，受了重伤，将要不久于人世。弥留之际，孙策将弟弟孙权托付给张昭，并诚恳地嘱咐道："如果孙权能力不足，你就取代他，成为江东之主。如果我们无法在对外作战中获取胜利，你不要有太大的顾虑，直接领着大家归顺曹操就行了。"孙权即位后，张昭像辅佐孙策那样辅佐他，使得东吴的政局没有因孙策的辞世而分崩离析。
