1888年，武训用了三十年的时间花了4000余吊开起了第一所学堂，取名为"崇贤义塾"，因为请不起老师，所以他只能去跪请一些有学问的秀才或举人来上课。还去劝说贫苦人家的父母让孩子过来学习，这些父母都有些担忧，如果孩子去上学了，家里的农活就没人干了，武训只好用自己的经历来劝诫这些父母，这才得以让孩子步入学堂。
武训办的学堂只收贫困生，并且不收学费，平时他经常会到学堂来探视，如果看到了懒惰的老师，他会跪求老师用心，如果学生不爱学习，他下跪劝诫，所以老师和学生都非常用功。山东巡抚知道后，下令免除徭役，并捐200两给学堂，为他改名为武训，也就是"垂训于世"的意思，还上报给了朝廷。
光绪得知后非常感动，对他大为赞赏，并颁以"乐善好施"的牌匾，赐他黄马褂，朝中大臣也都被他的行为所震惊，羞愧不已。1896年，武训去世，据史料记载："病革，闻诸生朗读声，犹张目而笑。"他去世之后，乡亲们自发组织为他送葬，人数达到了万人以上。
武训为了兴办学堂，一生未娶妻生子，因为他不想连累别人，另外他想把所有的精力都放在教育上。他行乞38年，办了三处义学，帮助了无数贫困子弟，成为了中国历史上第一个以乞丐的身份被载入正史人，被誉为"千古奇丐"。
