胡林翼与左宗棠同年，都生于1812年。胡林翼的父亲胡达源和左宗棠的父亲左观澜又是同学。基于这两层关系，胡林翼与左宗棠从小关系就不错。多年以后，左宗棠写文记叙他们之间的深厚感情："我生于湘，公产于资，岁在壬申，夏日冬时。詹事文学，读书麓山，两家生子，举酒相欢。"
1833年，左宗棠第一次进京参加会试，遇见了胡林翼。他乡遇故知，两人分外高兴。左宗棠雄心勃勃，以当代孔明自许；胡林翼博览群书，以天下为己任。他们志向相同，不喜好八股文，爱读军事、历史、地理书籍，自然常常抵足而眠，彻夜讨论家国大事。
后来，左宗棠三次会考均名落孙山，灰溜溜地回到乡下种田。胡林翼却在考中进士后，外放贵州知府，开始大显身手。胡林翼深知左宗棠的才华，便不断推荐向人左宗棠。
1848年，胡林翼向云贵总督林则徐推荐左宗棠，可惜左宗棠因有事未能前去。1852年，太平军攻打长沙，胡林翼又向湖南巡抚张亮基推荐左宗棠。左宗棠冒着炮火进入长沙城，进入张亮基幕府，"昼夜调军食，治文书"，保得长沙3个月屹立不倒。太平军无功而返，左宗棠一生功名由此开始。
