开元十年（722）四月，张说兼知朔方节度使，他亲自到朔方巡边。九月，康待宾余党反叛朝廷，自称可汗。张说发兵追讨，将河曲六州胡人，分散安置。原先治边境常驻兵六十余万，耗资巨大。张说以无强敌为由，请罢兵二十万。玄宗颇为疑虑，张说说服玄宗最后裁边兵二十余万，占了边兵的三分之一。张说还根据实际情况，建议改府兵制为募兵制。府兵制尽寓兵于农的一种制度，平时在家种田，战时应召出征，自备军需。兵不堪其苦，逃亡者甚众。
开元十年（722）九月，张说招募年轻力壮的青年担任宿卫，免除他们的租调劳役，给予他们优厚待遇，不到十天就招募精兵十三万。从此兵农分开，兵成为一种职业性的雇兵，对提高军事素质，严格训练是很有好处的。
开元十一年（723）二月，张说兼中书令，他改革政事堂为中书门下，其下设五房:吏房，枢机房、兵房、户房、刑礼房，分曹掌管总务，建立了政事堂的办事机构，加强了政事堂的权力和地位，使政事堂的发展进入新的阶段。张说是唐代有数的文学家，也是当时文人的领袖。他的文章以俊丽、精密著称。朝廷要有大作，多出于他之手，尤长碑文，当代人莫能及。倡导开馆置学士，玄宗设立丽正书院，聚集许多文学名士如徐坚、贺知章等从事文化教育事业，玄宗授张说为修书使，总管丽正院。当时有人反对，要求停办丽正书院，他对玄宗说:"自古帝王于国家无事之时，莫不崇宫室，广声色，今天子独延礼文儒，发挥典籍，所益者大，所损者微。"后来，丽正书院改为集贤书院，五品以上为学士，六品以下为直学士，任命张说为知院事。张说为相职，提拔和重用了一批文学之士，其中最著名的有张九龄，后来成为唐代的名相。
