军中有像鱼俱罗一样有本事的将领，朝廷自然会更加重用他。当年隋朝朝廷派了很多军种有名的将领去攻打突厥，但是最后都不战而败，面对匈奴的多次进犯，隋朝朝廷也十分着急，最后朝廷委派鱼俱罗为主帅，率领军中几位有能耐的将领一起出征突厥，其他将领每次派兵攻打突厥时，都很难讨到好处，但是鱼俱罗第一次出征突厥时，获得了很多战功。当时隋文帝还多次提升了鱼俱罗在军中的官职，为了表彰他成功击退突厥，也给了他很多封赏。
鱼俱罗只认隋文帝这一位明主，等到隋炀帝称帝之后，鱼俱罗十分不满隋炀帝的执政手段，看到隋朝注定会败在隋炀帝的手上，鱼俱罗也不想给如此昏庸的帝王效力，所以在一次上朝时，他找了个机会向隋炀帝说出自己要请辞的消息。如果是个明智的帝王都不会同意才能出众的大将请辞，然而隋炀帝却同意了鱼俱罗的请辞要求。
鱼俱罗辞官之后，就一个人回到了老家，从此不再过问朝堂上的事情。即便在隋炀帝被多方叛军攻打时，隋炀帝也多次派宫人去请已经辞官的鱼俱罗重新到军中效力。在鱼俱罗没有请辞之前，他就已经意识到隋朝要不了几年就会被隋炀帝败光，现在各路起义军都想击败隋朝，建立新的政权。鱼俱罗好不容易脱离了朝堂，现在能够安享几年舒坦的日子，自然不会重新踏入朝堂，他在隋炀帝称帝的第一天就对这位新帝百般不满，所以自然不会因为隋炀帝现在需要他到军中作战就重新回到军营继续效力于他。
