高力士原本叫冯元一，是岭南人，他的父亲冯君衡在武则天时期任潘州刺史。高力士10岁时，流放岭南的犯人造反叛乱，武则天派监察御史万国俊去调查。万国俊是武则天时期的酷吏之一，在那次调查岭南流放犯人造反的过程中，几百名犯人被冤判斩刑。高力士的父亲冯君衡，受岭南犯人造反案牵连，被罢官抄家并问斩。高力士的母亲为了让小高力士不被饿死，将他卖给了收买养子的人，殊不知买小高力士的人，是人贩子，小高力士被那人阉割后高价卖出。公元六九八年，高力士与有同样遭遇的金刚二人，被岭南讨击使李千里带入宫中，时年十五岁的高力士成为了武则天身边的小太监。
没过多久，高力士因小过错，被鞭打后赶出宫，宦官高延福将他收养为养子。高延福曾在武三思府上侍候武三思，高力士自那时起常往来于武三思家的宅子。大约一年后，高力士又被召进宫中，得到武则天喜爱，并授官宫闱丞。
高力士在“神龙政变”后，逐渐与临淄王李隆基交往密切起来，在诛韦后，除太平公主的两次政变中，支持李隆基，时至今日，他终于走上了权力的高峰。
公元七三一年正月二十一日，高力士站在内侍省大门口，与金吾大将军程伯献正在谈话。
高力士说：“程兄，又到春季了，圣上自去年开始，每月都要组织两三次朝臣的春游活动，我怕有不法分子趁机扰乱治安。皇城内外，乃至整个长安城的治安，就有赖于你的管理了。”
程伯献向高力士行抱拳礼：“力士兄弟，我一直以来都是兢兢业业地维护皇城内外，乃至整个长安城的治安，请力士兄弟和皇上放心，只要有我程伯献负责治安，绝对不会出现什么问题。”
程伯献已经年逾花甲，披盔戴甲，看上去仍然一副老当益壮的样子。他是大唐开国将领程咬金的孙子。
高力士微笑着说：“有程兄这句话，我就放心了。”
程伯献说：“力士兄弟，少府监冯绍正与我们两人交情甚好，他昨天到我府上做客，说想与我和你结为异姓兄弟，不知你意下如何啊？”
高力士微笑着说：“好，很好。冯绍正为人很实在，他任少府监以来，农业技术，手工业制造业，铸造业等行业，都管理的井井有条。我就喜欢结交脚踏实地工作的人。你与他说一下吧，五天后也就是本月二十六日，夜间我在宫内的住处令小太监炒几道菜，我们小酌几杯，就算是结为异姓兄弟了。”
程伯献面带忧虑地说：“力士兄说的甚好，只是，只是如果被人看到我们三人在皇城内聚饮，会不会到陛下那里举报我们啊？”
高力士微笑说：“你不必担心此事。我为了陛下的安危，几乎每日都在皇城中值守，夜里都很少出皇城回位于长安城内的家中。我以商量工作为由，与你和冯绍正一起，到我在宫中的住处，在夜里简单吃几个菜，小酌几杯，皇上即使是知道了，也不会怪罪我们的。反而是举报我们的人，得掂量一下，他那样做会有没有作用，会不会让陛下因此讨厌他。”
程伯献微笑着说：“刚才是我多虑了，以力士兄弟在皇上心目中的地位，以力士兄弟对陛下的忠诚拥护，没有人会轻易以此等小事举报我们啊。”
高力士微笑着说：“只要我们以后说话谦恭谨慎，在皇上面前也做到谦俾有礼，两三个人小聚一下，吃几道小菜，共饮美酒，圣上不会介意的。”