唐初武德四年(621)，李靖率军攻下桂林，作为广西割据首领的冯盎只能望风归顺，后来被唐政府封为高州刺史，他有一个儿子及其家人被唐政府留居于桂林。

　　到了武则天的圣历年间(公元698-699年)，当时任岭南讨击使的李千里巡视岭南，莅临桂林，不久后他回到朝中，给武则天献上了两个阉儿，一个名叫 “金刚”，另一个名叫“力士”，都十分聪明伶俐。武则天特别喜欢年龄幼小的“力士”，令宫里的管事太监高廷福收其为义子，于是朝中都称其为“高力士”。至于那位与高力士同时入宫的“金刚”，则成为史海中湮没无闻的人物。

　　武则天死后，韦皇后与武则天之女太平公主临朝专制，唐睿宗之子临淄王李隆基发动禁军，扫平韦皇后及太平公主集团，登上帝位，这就是唐代名气十分响亮的皇帝唐玄宗。也就是这个时候，高力士成了唐玄宗的伴驾之人。由于唐玄宗与高力士年龄相近，性格相似，虽然表面上是君臣关系，实质上却是一对一刻也不能相离的游伴。在这样的关系之下，高力士渐渐成了宦官中最为重要的人物，一些当朝权贵如李林甫之流无不与高力士深相结纳。

　　高力士虽然权倾朝野，却经常回想起他小时候的事情，他只记得在很小的时候家里也算是大户人家，住在一个有山有水、景色秀丽的城市之中，其母亲好像姓麦，后来不知怎地从家中走失，好像是被人拐走，从此便失去了家庭。

　　唐玄宗十分体谅高力士的思乡情结，令前往岭南的地方官员注意寻访高力士的家人。

　　有一次，岭南节度使何履光偶然在泷州(今广东罗定)访查到前朝地方大姓冯盎已故去的四世孙冯某曾在桂林走失过幼儿一名，一直不知去向，其妻麦氏每当忆起当年事便悲泣不已。何履光亲自召见麦氏，问起走失的时间，与高力士幼年走失的时间十分相近，于是何履光亲自陪同麦氏来到京城长安，与高力士认亲。相见之后，彼此都觉得十分陌生，根本不是记忆中的形象。

　　后来麦氏突然记起，问道：“你的胸前是否有七颗小黑痣？”

　　高力士袒开胸襟。果然如此。而高力士也拿出小时候所佩戴的金项圈，麦氏也记得这正是当年幼子佩戴之物。于是母子相认，抱头痛哭。唐玄宗知道此事的前因后果之后，心中十分感叹，特地诰封高力士的母亲麦氏为越国夫人，还赠封高力士久已故去的父亲为广州大都督。