病好之后，武训痛定思痛，觉得自己被他人肆意欺负的根源就是未能接受良好教育，于是他萌生了兴办义学的念头。道光二十九年（公元1849年），二十一岁的武训开始了他的办学计划。为筹措办学资金，武训在邻近各村表演过扛鼎、大刀破头等杂耍，但赚不了什么钱，于是武训就捧着破碗四处乞讨。有时候武训从大户人家捡到遗弃衣物，他从来不穿，而是立马洗干净拿去变卖，换成银钱后以资助乡学建设。至于他自己，则长期吃着糠咽菜或者捡拾剩菜剩饭，不肯多花一分钱。在行乞过程中，武训也曾也在山东、河北、河南、江苏等地当过收麦工或背煤工等小工，其目的都是为了攒钱。
光绪十四年（公元1888年），年近半百的武训经过数十载"乞讨"，已经积累起一笔数目可观财富，完全可以建立私塾来帮助穷困儿童学习。于是武训回到老家堂邑县，建起当地第一所义学，名为"崇贤义塾"。义学建成后，武训亲自前往当地举人家中，跪请举人老爷们任教，乡中举人和秀才听闻武训的事迹后，纷纷答应抽时间到义塾免费任教。
师资问题得以解决后，武训接下来要解决的就是生源问题，他规定"崇贤义塾"原则上只招收贫寒人家子女，不仅免去学生所有学费，还提供免费膳宿。由于当地农户农事繁忙，很多人舍不得让孩子脱产读书，义塾开办首届只招收到50名学生。但这并没有让武训气馁，他专注于学校管理，对学生非常尽责，时常于夜间前往义塾巡视，察看学生有无异状。对那些用心教导学生的老师，武训甚至会叩跪致谢；看到学生贪玩，武训则谆谆劝勉。师生受到其感召，更加努力上进，私塾风气之纯正一时响彻乡里。
