定下计谋后，又与同乡姜隐、赵昂、尹奉、姚琼、孔信，武都人李俊、王灵等联络结盟，共同讨伐马超。又派从弟谟到冀城告诉杨岳内情，并联络了安定的梁宽，南安的赵衢、庞恭等。盟誓以后，于公元212年（建安十七年）九月，杨阜和姜叙在卤城起兵。马超闻讯后亲自率兵出击。赵衢、庞恭等救出杨岳，关闭冀城大门，抓住马超妻儿并杀害。马超袭击历城，抓住姜叙的母亲。姜叙母亲骂道："你是个背叛父亲的逆子，你是杀害君长的叛贼，天地不容，还不早死，还有什么脸见人！"马超大怒，杀死姜叙母亲和杨阜的家眷。杨阜与马超作战，五处中枪受伤，宗族兄弟死了七人。马超南逃，投奔张鲁。
这场战后，杨阜等多达十一人因讨伐马超的功劳被封侯。杨阜推辞说："我杨阜没有保护好州君性命，他们死后，我也没有尽节报孝。在道义上我应被罢黜，在法律上我应被诛杀。马超又没被杀死。我实无权再受爵禄。"
