由于是混血的原因，罗科索夫斯基从小就长得帅气，是一个人见人爱的帅哥。由于他父亲是一名火车司机，因此家境还算优越。但由于父亲因工伤后去世，从此就过上艰苦生活。但因为母亲是教师，罗科索夫斯基从小受到良好的教育。罗科索夫斯基15岁时，母亲去世，此时才是四年级的他，只得辍学务工。他进入袜厂当工人，那时沙俄的工厂条件十分恶劣，华沙工人大罢工时，罗科索夫斯基也参加了，后来被监禁两个月。
正是在他监禁时期，他接触到布尔什维克学说，为他后来参加苏维埃奠定基础。之后罗科索夫斯基又去学习石匠，但不久奥匈发动对塞尔维亚战争，沙俄也参加了。俄国第五骑兵师卡尔戈波尔龙骑第五团进入华沙。罗科索夫斯基就决定从军，由于年龄小，他虚报了两岁被录取，成为一名沙俄士兵。之后在与德军战斗中，他勇敢不怕死，被提升为尉官，成为沙俄一名初级军官。1917年，十月革命爆发后，由于罗科索夫斯基之前接受过布尔什维克思想，他就参加了苏联红军，被任命为骑兵连长。内战结束后，他成为第35独立骑兵团长。罗科索夫斯基帅气外形再加上他的勇敢作风，很快被上级相中，保送到伏龙芝军事学院进修，在蒙古短暂当过骑兵教官。
1929年，“中东路事件”发生后，已是旅长的罗科索夫斯基也参加战斗并取胜。1930年，罗科索夫斯基被提升为第七骑兵师师长，而朱可夫就在他的手下任第二骑兵旅旅长。6年后，罗科索夫斯基又被提升为骑兵军的军长。可以说罗科索夫四十岁之前的履历顺风顺水。
