杨国忠算是官宦之后，当年武则天宠爱的张易之、张宗昌兄弟是他的舅舅。史书上只记载了杨国忠"干貌颀峻，口辩给"，身材修长高大，口舌灵便，但有"莲花六郎"张氏兄弟这个遗传基因，相貌也差不到哪里去，应该能算得上仪表堂堂。
年轻时的杨国忠浪荡公子一个，不学无术，好饮酒赌博，家里条件不好，到处借钱、要钱，家族成员对他也是颇多鄙视。后来觉得不该这样活下去，于是发愤从军，三十岁左右离开家乡，去了蜀中任低级武官，负责屯田工作。
杨国忠的性格应该和刘邦有些相似，好交朋友，是个社会人儿。在蜀中屯田工作很优秀，但顶头上司不喜欢他的为人，这份工作就丢了。
杨国忠也交下了一批三教九流的朋友，其中既有蜀中大豪鲜于仲通，也有一批一起赌博喝酒的市井之徒；另外他的堂伯或者堂叔死在了蜀中，杨国忠对他家里多有照顾，顺便与堂妹好上了，也就是后来杨玉环三个同样受李隆基宠爱的姐姐之一--虢国夫人。
在蜀中杨国忠丢了工作后又浪荡了数年，经常用吃饭的钱去赌博，输光了才回家。后来得到了鲜于仲通的不少帮助，当了一个县尉的小官，这才免于饿死。
