当时宦官高延福看着他十分可怜，于是便收他为义子，这个高延福是武三思的手下，而武三思是武则天的侄子，之后在高延福的安排下，高力士去到了武三思府中做事，并且在这期间，养父高延福教会了他许多在宫中生存的经验，一年之后，高力士被武则天召回了宫中，做回了武则天的手下，此时的高力士已经身长有六尺了，而且在养父的教导下，如今的他十分机敏，心思缜密，武则天经常让他传诏令。
神龙政变发生之后，武则天病逝，李显继承皇位，这李显虽继承了皇位，但是他过于软弱无能，政权都被他的韦皇后抢去了，当时朝中大事都是韦皇后来处理，这高力士逐渐与皇宫离了心，韦皇后想要成为第二个武则天，但是她没有武则天的气魄，高力士在宫中也待了几年，看得出来韦皇后成不了大事，于是他见机行事，看清楚局势之后，便投奔到了李隆基的手下，成为了李隆基的谋士。
在高力士的帮助之下，李隆基与太平公主联手杀掉了韦皇后，夺取了政权，之后便又李隆基的父亲李旦为新帝，在这个情况下，按理是太子继位的，但是太子却认为李隆基是一个十分有势力，且心狠的人，如果这个时候坐上这个位置，那么自己的小命肯定保不住，所以识时务者为俊杰，这李旦的长子便将太子之位让给了李隆基，李隆基成为太子之后，本该是皇位的合法继承人了，但是这姑姑太平公主又出来阻挠了，在高力士的帮助下，李隆基除掉了太平公主。
李隆基继位之后，由于高力士的功劳十分大，于是便破格授官银青光禄大夫，任内侍省同正员，开元初年又兼任右监门卫将军，执掌内侍省事物。李隆基继位之后，高力士便一直侍奉在左右，李隆基十分信任他，并且还经常封赏他，但是高力士在宫中多年，知道分寸，每当李隆基要赐予他高官的时候，他没有接受，而是一直推辞，李隆基更加欣赏他的品性。高力士在任职期间，保持着他一贯的细心和仔细，并且做事十分认真负责，到了李隆基晚年的时候，由于李隆基经常生病，处理政事上有点力不从心，于是便都交由高力士处理，高力士虽然开始忙碌了起来，但是他心中很开心，因为这表明了李隆基对他的重视和信任。
