潘祖荫是吴县（今江苏苏州）人，与来自湖南的左宗棠从来没有交集。潘祖荫出身官宦世家，他的祖父是乾隆时期的状元潘世恩，官至武英殿大学士。他的叔祖是乾隆时期的探花潘世璜。他的父亲也官至内阁中书、内阁诗读等。
1848年，潘世恩八十大寿，道光皇帝赏了一个举人功名给潘祖荫，让他至少少读三年书。当然，潘祖荫也很争气。1852年，潘祖荫入京参加会试，考中一甲第三名（探花），步入官场。
咸丰皇帝很欣赏潘祖荫，把他安排在南书房行走，随时随地找他商量国家大事。当时，郭嵩焘与他同在南书房。左宗棠事发后，郭嵩焘先是找到在朝廷里炙手可热的肃顺，请他帮忙。肃顺虽然是满洲镶蓝旗人，但一直对汉人抱有好感，曾国藩、胡林翼、郭嵩焘等人就是在他手上提拔起来的。肃顺告诉他："必须等大臣们有疏保荐，我才好开口。"于是，郭嵩焘找到了潘祖荫，请他代为上疏。
郭嵩焘告诉潘祖荫："左君去，湖南无与支持，必至倾覆，东南大局不复可问。"
