汉献帝建安十三年，曹操率大军南征荆州。这时刘表已亡，他的儿子刘琮不战而降。刘备率军民二十多万人南撤。在曹军追及到当阳长坂坡时，刘备寡不敌众，大败而逃，辎重全失。徐庶的母亲也不幸被曹军掳获，并被曹操派人伪造其母书信召其去许都，徐庶得知此讯，痛不欲生，含泪向刘备辞行。
徐庶在向刘备此行之时，刘备也犹豫了，如果徐庶北去曹操，肯定被曹操重用，以徐庶的聪明才智和对刘备军队的了解，刘备必然会再次经历惨败，甚至有部下对刘备说"今若使归曹操，必然重用，事与我不利"。
刘备虽然舍不得让徐庶离开自己，但他知道徐庶是出了名的孝子，不忍看其母子分离，更怕万一徐母被害，自己会落下离人骨肉的罪名，只好同徐庶挥泪而别。
