杨嗣昌早就看出了这一点，为了避祸自称有病隐居在老家常德，与人吟诗作对去了。其父亲杨鹤后来遭到被魏忠贤罢官，也回了老家，父子俩过起了"桃花源"的生活。
杨嗣昌在休息的这段时间创作了很多诗文，注有诗集《野客青鞋记》留后人品读。其作品都是描写家乡的美景，寄情于山水，可谓是性情中人。
天启七年（1627年）九月崇祯帝朱由检即位，他之前就看到过杨嗣昌写的《地官集》，觉得杨嗣昌是位有才能的人，而且不偏不党，于是在登基后不久就重新启用了杨鹤与杨嗣昌（时年40岁）父子俩。
但后来杨鹤因为招抚流寇失败而获死罪，杨嗣昌三次请辞代父受罪，都被崇祯帝拒绝，最后免了杨鹤的死罪改戍江西袁州。可见崇祯帝对杨嗣昌的赏识，从而也可以看出杨嗣昌对父亲的孝顺。
