他是官二代出身，本名冯元一，太爷爷冯盎被封为耿国公，老爹本来也是刺史，结果惨遭上级陷害，家破人散，10岁的小冯瞬间体会到了从天堂坠入地狱的感觉。但这还不是他生命中的最低点，因为长得聪明俊秀，岭南讨击使李千里相中了他。
当时正值武则天的生日，李千里为了讨武则天的欢心，将小冯阉割后，和另外一名小宦官一同送给武则天，给他们起名叫做金刚和力士。痴迷佛教的武则天笑纳了这份厚礼，看这位叫做力士的小男孩挺机灵，就把他留在身边贴身伺候自己。
结果没多久力士犯了点小错误，武则天命人拿鞭子狠狠抽了他一通后把他赶出宫，小力士差点饿死街头。正巧武三思门下的宦官高延福外出遛弯，看见了这个可怜的娃，当即认他做了干儿子，所以小冯从冯元一改名为高力士。
一年多后，武三思替高力士求情，武则天又重新把高力士召回宫中。看这小伙子是块材料，就让他在内翰林学习 。
