骠骑将军霍去病两次出击匈奴，皆大获全胜。金日磾就是在这一时期流落到西汉的。
河西的匈奴休屠、昆邪二王及部属4万余人都归降于大汉，匈奴休屠王原是不同意降汉的，他是被浑邪王说服才投降的。可是休屠王担心不已，半路又反悔了，浑邪王就杀了他，带着休屠王的势力一起投降汉朝。休屠王太子金日磾和众多的家人皆数没为官奴。金日磾年龄小，被送到黄门署养马。
因为当年霍去病攻打匈奴，夺走了匈奴人的珍宝“祭天金人”，一种用来祭天的核心道具。所以汉武帝后来才给金日磾这个匈奴太子赐姓为“金”。
汉武帝之所以能知道金日磾这个人，还是那偶然的一瞥眼。
汉武帝有一次在宫里举行宴会，非常高兴，为了烘托气氛，他又让人牵骏马来检阅，金日磾就是众多牵马人中的一个。汉武帝只见到一个魁梧的身材从眼前一晃而过，待他仔细看，就看到了金日磾。那时的金日磾不过是个十四岁的少年，不过汉武帝觉得他生得孔武有力，胆子很大，就算身份低微也能做到在大场面不失了体面和镇定，是个值得培养的人，就拜他为马监。
之后，金日磾逐渐升迁，先后拜为侍中、驸马都尉、光禄大夫。汉武帝对金日磾尤为宠信，他见金日磾有孝心，为人又忠诚谨慎，于是将金日磾这个匈奴族的太子调到自己身边服侍。
仅仅凭借身材强健、孔武有力和孝顺母亲，金日磾就能得到汉武帝的喜爱，这是不是太简单了一点。金日磾还有什么值得汉武帝重视的优势呢？
金日磾有三个儿子，也很受汉武帝的喜爱，他们时常能进宫玩耍。金日磾的长子是个纨绔公子，平日里就仗着武帝的宠爱肆意妄为，进宫以后还胆大到调戏宫女。皇宫里的所有女人那可都是汉武帝的，他这种行为无异于是虎口拔毛，算是得罪汉武帝了。金日磾得知此事，知道是自己这个儿子犯了罪，为了不让这个糊涂儿子连累全家人，他只能忍痛亲手杀掉了长子，向汉武帝请罪。
汉武帝觉得金日磾对他真的太忠心了，从此以后对金日磾更加敬重。
其实，这也不得不说明金日磾这个人的残忍无情，不过如果他不亲手杀掉长子的话，汉武帝就不会满意，很可能整个家族的人都会受到牵连，到时候只会死更多的人。金日磾常年服侍在汉武帝身边，了解汉武帝这个人，所以他才选择了最简单快速的解决办法，杀掉了长子，保全了全家。
这样的金日磾对汉武帝会有多忠心？看了下面这两件事你就知道了。
巫蛊之祸被查出的时候，江充构陷卫太子一事暴露，汉武帝一怒之下处死了江充。而江充的好友马何罗当年也参与此事，正所谓做了亏心事，半夜鬼敲门，马何罗准备叛变，却被金日磾发觉，金日磾以防打草惊蛇，只派了人去监视马何罗。
有一天，汉武帝到林光宫办事，金日磾那天刚好身体不舒服，马何罗就趁着这个机会行刺汉武帝，金日磾当即就从病床上爬起来，紧紧抱住了马何罗，大声喊道“马何罗反了！”最终马何罗被捕，金日磾的才智和忠诚打动了汉武帝。
以至于汉武帝临终托孤的时候，还提到了金日磾，希望金日磾担任辅政大臣霍光的助手，一起辅佐幼主刘弗陵。后来的金日磾也的确履行了诺言，尽心尽力辅佐汉昭帝，不过他的年龄很大，病逝了，之后金家就由他的二儿子金赏来主持，金赏的妻子是霍光的女儿，但是霍光全族被灭的时候，金赏由于提前交出了霍氏妻子，所以才免遭牵连。他也成为了唯一一个没有被霍氏牵连的烟亲家族。