如此来看，鱼赞的政治生涯也并不比鱼俱罗差。但怎奈鱼赞生性凶残，史书中记载他让属下烤肉，他不满意就刺瞎属下的眼睛；让属下温酒，酒的温度不如他的意就割人家的舌头。后来隋炀帝知道了这事，于是就联想到了鱼俱罗。隋炀帝想一母同胞的兄弟，弟弟尚且如此哥哥又能如何。于是把鱼俱罗找来谴责了一顿。
因为鱼赞在隋炀帝还是晋王时就跟随他了，所以也不忍心杀鱼赞，而是将他交给了鱼俱罗带回家处理。但谁知道鱼赞回到家就喝毒药死了，鱼赞死了不要紧却连累了鱼俱罗。毕竟是亲兄弟，当时鱼俱罗还在丰州任职。隋炀帝担心鱼俱罗挟私报复引起边患，于是将其调任为了安州刺史，一年后又被调任为赵郡太守。
从丰州总管到赵郡太守，并不是文武的变换那么简单，隋炀帝彻底解除了鱼俱罗的兵权。这还不算完，后来鱼俱罗入朝拜见隋炀帝，给隋炀帝带了些赵郡的特产。隋炀帝不要，鱼俱罗于是就将这些特产转送给了朝中的一些大臣。毕竟千里迢迢来回带那么多东西不太方便，不如做个顺水人情。但怎料被言官弹劾，这次鱼俱罗被彻底免了官。
狡兔死，走狗烹。这似乎是每一个王朝的惯例，作为隋朝的有功之将，鱼俱罗最终也没有跳出这样的下场。或许这时的隋朝没有了当初的内忧外患，鱼俱罗也自然就没什么用反而成了一种威胁。对于这种威胁，当然是除之而后快。可怎料，没多久越巂（suǐ）郡的飞山蛮（当时的少数民族）造反，这时隋朝朝廷又想起了鱼俱罗。
朝廷让鱼俱罗平叛又不给他实职，《隋书》载"诏俱罗白衣领将"意思很简单，就是个暂时的没有编制的平叛将军。但即便如此，鱼俱罗不辱使命很快平定了飞山蛮的叛乱。后来隋炀帝远征高句丽，平定江南的刘元进叛乱以及朱燮、管崇等的叛乱中，鱼俱罗都曾受命参加。
