在清朝，花钱买官是正常之举。只不过，大多数花钱买官者，多是选择在富裕的地方任职，好尽快回收成本。可胡林翼做官，是为了干一番事业，便有意选择了当时中国最贫穷、最偏远的贵州，而且在赴任前"遍谒先茔，誓不取官中一钱自肥以贻前人羞"。
接下来的几年，胡林翼先后任职安顺、镇远、黎平三地的知府。在清朝，知府为州府最高行政长官，属于从四品的地方官员，相当于现在地级市的市长。
晚清时节，贵州匪患较为严重，胡林翼亲自带领官兵与盗匪作战，因功被提拔为贵东道员。道员的级别为正四品，是省（巡抚、总督）与府（知府）之间的地方长官。现在省与地级市之间没有行政区划，所以没有对应的职务。
1854年，胡林翼奉命率部来到湖北、湖南一带，与太平军作战。胡林翼在贵州与盗匪作战时，积累了宝贵的军事指挥经验，阻击太平军时表现得相当勇敢。湘军主帅曾国藩很赏识胡林翼，认为他"胆识过人，才大心细"，奏报朝廷后让胡林翼独立指挥一支军队，协助湘军作战。
