年轻时的杨广，十分好学，写的文章也很有水平。他为人沉着深刻，严谨持重，颇有气度。在朝野极有威望。
一次，隋文帝让当时著名的相者来和悄悄为自己的五个儿子看相，来和见到晋王杨广眉毛上面的双骨隆起，认为是难以言状的贵相。一天，隋文帝到杨广的住宅，看到他乐器上面的弦大多已断，而且还积有不少尘土，看样子杨广已有好久没有用这些乐器了。隋文帝认为这个儿子无意于声妓，只爱好学习，所以，对杨广更加喜欢了。杨广在当时还以孝顺父母著称，他在外为藩王，不能常见父母，时时思念。对于部下，还是颇有爱下之心的。
开皇六年（586年），杨广被任命为尚书令，这里是对南方陈朝作战的前线，杨广到这里来熟悉前线军政，可以为日后灭陈作准备。不久，又为雍州牧、内史令。开皇八年（588年），隋文帝决定大举伐陈。晋王杨广又被委任为淮南行台尚书令，指挥平陈事宜，他作为行军元帅，率兵出六合（今江苏省六合）。当时，隋朝伐陈出动了九十总管，兵卒达51万8千，均受晋王杨广节度。这时的杨广，成为这次灭陈战争的最高统帅。协助管理军士的是宰相、高颎和他的辅佐、淮南行台右仆射王韶。
