关于胡惟庸早年身份有两种说法：一，此人是是个村学究，也就是乡村教师；二，此人是个元朝的小官吏，干的想当是宋江之流的押司文书工作。不管什么身份，都说明胡惟庸早年混的并不好。所以，当天下大乱时，胡惟庸加入了朱元璋的反元武装。
史料显示，公元1355年，胡惟庸投靠了朱元璋的起义部队，得到一个元帅府奏差，也就是给领导通风报信、端茶倒水的工作。此时他就是一个小角色，相当于今天的通讯员。早年的胡惟庸为什么没有在朱元璋阵容显山露水；因为此时的朱元璋正处于打天下阶段，他最需要带军打仗的将军武士和运筹帷幄的军师两种人才。而这两种角色，胡惟庸均不在其列。
本来以为，这辈子没当大官命的胡惟庸，在跟随朱元璋的第十二个年头，突然时来运转了。在此期间，他结识了一个大人物--李善长。朱元璋的第一秘书。李善长从朱元璋起兵时，就跟着朱元璋，任朱元璋的长书记，可谓是朱元璋手下的第一笔杆子，很受朱元璋器重。胡惟庸、李善长和朱元璋都是老乡关系，同为濠州人。而胡惟庸和李善长还更近一层，不仅同州而且还同县，都是定远县人。所以，胡惟庸拼命的巴结李善长，据说是送了二百两黄金。李善长感觉胡惟庸不错，挺会来事，就向朱元璋不断的举荐胡惟庸。这个还是不胡惟庸发迹的最主要原因。最主要的原因是，当时中国历史发生了重要变化；改朝和换代。
公元1367年，朱元璋完成了驱除鞑虏，恢复中华的的伟业，建立了大明王朝。此时，开国皇帝的朱元璋的用人标准发生了重大变化，给胡惟庸的人生带来了转机。此时，开国皇帝"兔死狗烹"的历史定律残酷地显现出来。朱元璋开始杀功臣、杀战友了，他此时不再需要打天下的能臣武将，而是需要打掉那些能臣武将的"棍子型"干臣。所谓的棍子型干臣指；拥有奴才的忠诚，酷吏的本领，没有资历的臣子。从明史的记录来看，公元1365年，已经在基层奋斗了十年的胡惟庸只做到了七品芝麻官--宁国知县这么一个位置。但自改朝换代的1367年开始，原为知县的胡惟庸，由基层上调中央，不断委以重用。洪武三年进入中书省，任参知政事；洪武六年拜右丞相；洪武十年，升任左丞相。大名的丞相与历代不同，分左右，左相节制右丞，为百官之首。
