洪秀全定鼎金陵后，派林凤祥、李开芳北伐中原，皖北一带的多支捻军纷起响应，在首领张洛行等人的领导下，屡败当地官军。此时，苗沛霖在豪绅的推举下担任"练长"，按照"筑寨、积粟、治兵"的指导原则，在皖北各地大办团练，很快就形成以苗家圩为中心的连圩数十、拥众数千的强势武装，时人称之为"苗练"。
苗练建成后屡次击败捻军，使得苗沛霖的威望更盛。咸丰七年（1857年）秋，蒙古副都统胜保被任命为钦差大臣，督办安徽军务，因赏识苗沛霖的才能，便保举他为五品官，补知府衔，负责操办淮北团练。
苗沛霖麾下的团练
苗沛霖投身胜保门下后，转战淮北各地每战必胜，并斩杀捻军首领葛仓龙、李大喜、任乾、鹿利科等人，在烧杀抢掠之余，也将收复的各州县置于自己的控制下。到咸丰九年（1859年）时，苗沛霖已成为控制数十州县、兵力达十数万的大军阀。苗沛霖为清廷屡立战功，却只得到加布政使的二品官虚衔，心中大为不满，由此滋生叛逆之心。
