郭孝恪被俘期间，表面上依附窦建德，内心却在找机会逃走。第二年，郭孝恪和李勣等数十人逃回长安，重回唐军麾下。当时秦王李世民正率兵征讨王世充，闻郭孝恪勇猛，便将郭孝恪调到秦王麾下，协助自己攻打洛阳。
公元621年，李世民和王世充在洛阳陷入持久战，窦建德担心李世民接下来会危及自己，于是出兵援救王世充。如此一来，李世民就要以一敌二，群臣意见不一。大多数人认为：王世充和窦建德联合，实力强于我们，不如我们暂且撤兵，找机会再战。
李世民问郭孝恪的意见，郭孝恪说："王世充现在已经坚持不住了，窦建德远道而来，粮草供应不上，我们只需要固守虎牢关，接下来必能将他们两者全部歼灭！"
