鱼俱罗在20岁的时候加入禁卫军，后来因为功勋被提升为大都督。开皇九年（公元589年），鱼俱罗跟随着晋王杨广平定陈朝有功，被加封为开府，赏赐了无数的珠宝与绫罗绸缎。开皇十年（公元590年），江南等到发生了叛乱。杨素临危受命，前往江南平叛，杨素早就耳闻鱼俱罗的骁勇善战，于是就请他一起参战。
很快在杨素和鱼俱罗的共同努力下，江南之乱得以平叛，而鱼俱罗也被封为高唐县公、叠州总管。之后，鱼俱罗因母亲去世回乡守孝。适逢杨素率领大军经过鱼俱罗老家，杨素很是高兴，就请鱼俱罗随军出战。来到战场之后，鱼俱罗怒目圆睁，大喊几声，加上左右冲杀，所向披靡，杀得敌人是溃不成军。
此后，鱼俱罗因为作战有功，被升任为柱国，拜授为丰州总管。而后突厥人听到鱼俱罗的名号，吓得再也不敢来犯。后来，鱼俱罗因为受到朝廷政敌的排挤，所以被弹劾，鱼俱罗没办法，只好归隐山野之中。当时，武功号称天下第一的李元霸在紫金山一战中，将鱼俱罗最得意的徒弟宇文成都杀死。
鱼俱罗的二徒弟宋老生，前往山中师父的住处，将宇文成都的死讯告诉了鱼俱罗。鱼俱罗本来还是不为所动的，可是经手不住鱼俱罗再三微词，实在忍受不了。于是决定出山为徒弟宇文成都报仇。鱼俱罗来到战场之后，就与李元霸寒暄了几句，一言不合就开打。
