《史记》说匈奴是祖夏后氏之苗裔，《括地谱》则说他们是夏桀的儿子獯粥的后代。汉武帝时，正式向匈奴开战。据《汉书•地理志》载，匈奴浑邪王和休屠王驻牧地在今甘肃河西走廊的张掖、武威一带，元狩二年（前121年），汉朝政府为控制河西走廊，打开通往西域的道路，汉武帝派骠骑将军霍去病率兵出击匈奴，过焉支山（今甘肃山丹县东南）入匈奴地境千余里，生俘浑邪王儿子及相国、都尉等，缴获休屠王祭天金人。同年夏，霍去病再度西征，过居延泽（今内蒙居延海），攻至祁连山，俘匈奴三万多人，使匈奴西部贵族损失惨重。匈奴单于鉴于浑邪、休屠二王损兵失地，无力维持西部地区的统治，准备予以惩处，欲召诛浑邪王。浑邪王得到消息，便说服休屠王共同降汉。而休屠王因其部损失不大，估计单于不会杀他，后又中途反悔，浑邪王早有准备，同霍去病合兵将其斩杀，其众四万馀人降汉。为了表彰功绩，汉武帝倾尽府库用来赏赐浑邪王，封浑邪王为列侯。而对于被迫投降的休屠王部众却采取了打压的方式，休屠王的阏氏以及不满14岁的两个王子都被没入宫廷，沦为官奴，被安置在黄门署饲养马匹。
元狩二年秋（前121年），武帝游逸宴乐，召阅诸马，后宫佳丽粉黛陪伴两侧，金日磾等人牵马过殿下，牵马者无不斜目侧视，唯独金日磾不敢抬头，加上他体形魁伟，容貌壮严，马又养得高大肥美，引起了武帝的注意。当武帝问到他的家世和经历时，他谈吐自若，对答如流，更加得到武帝的赏识，当汉武帝得知其为休屠王之子后，便以霍去病曾从他们部落夺走祭天金人，赐他姓金，名日磾（“日磾”系匈奴语汉译，音读“蜜滴”，意为“河边的朝阳”），当即拜他为马监（金日磾是历史上最早记载善于养马的人，因而中国民间也将他奉为“马王爷”）。之后升迁为侍中、驸马都尉、光禄大夫。金日磾亲近汉武帝以后，不曾有过失，汉武帝很信任宠爱他，赏赐累积千金，汉武帝外出，他就随侍车驾；在宫中，他就侍候身边。一些贵戚在私下怨恨，说：“陛下胡乱得到一个匈奴小儿，反倒看重他。”汉武帝听说后，更加厚待他。
金日磾的母亲教诲两个儿子，很有规矩，汉武帝得知后很赞许。他母亲病死后，汉武帝下诏在甘泉宫为她画像，题名“休屠王阏氏”。金日磾每次看见画像都下拜，对着画像涕泣，然后才离开。金日磾的两个儿子都被汉武帝所宠爱，是汉武帝逗乐子的弄儿，常在皇上身边。后来弄儿长大，行为不谨慎，在殿下与宫女戏闹，金日磾正好看见，厌恶他的淫乱，于是杀了弄儿。巫蛊之祸中，马何罗（本姓马，后人改为莽）兄弟害怕被杀，于是策谋造反刺杀汉武帝，金日殚当时任侍中，知道马何罗有这种意图，严加防备。汉武帝驾临林光宫，何罗袖中藏着利刃，潜入宫中。金口殚已先在宫中，与何罗奋勇搏斗，将其扔到殿下，审得实情，加以诛杀。金日磾救了汉武帝一命，因此以忠诚笃敬、孝行节操而闻名。金日磾自从在汉武帝身边，几十年从不用目光直视汉武帝。汉武帝赏赐给他宫女，也不敢亲近。汉武帝要把他的女儿纳入后宫，金日磾不肯。金日磾的为人就是像这样笃厚谨慎，汉武帝认为他的行为特别奇异少见。
后元二年（前87年），汉武帝病重，嘱托霍光辅佐太子刘弗陵，霍光要谦让给金日磾。金日磾说：“我是外国人，那样将让匈奴轻视汉朝。”于是就成为霍光的助手。霍光把女儿嫁给金日磾的嫡子金赏。当初，汉武帝留下遗诏，以讨伐马何罗的功劳封金日磾为秺侯，金日磾因为汉昭帝刘弗陵年幼，坚辞不肯接受封爵。始元元年（前86年）九月初一日，辅佐朝政一年多的金日磾病情严重，大将军霍光奏明汉昭帝才封金日磾为侯，在病床边授予他侯爵封号及印绶。九月初二日，金日磾病逝，终年四十九岁。汉昭帝为他举行隆重的葬礼，赐给安葬器具及坟地，用轻车军士为他送葬，军队排列直到茂陵，赐谥号为敬侯。
金日磾三子，长子为汉武帝弄儿，为金日磾所杀。两子金赏、金建都为汉昭帝侍中，与汉昭帝年龄差不多，与汉昭帝一同睡觉起床。后金赏为奉车都尉，金建为驸马都尉。金赏继金日磾爵位秺侯，佩戴着两条绶带后，汉昭帝对霍光说：“金家兄弟两人不可以让他们都是两条绶带吗？”霍光回答说：“金赏本是继承父亲的爵位为侯的。”汉昭帝笑着说：“是不是侯难道不在于我与将军您吗？”霍光说：“先帝的规定是有功才能封侯。”当时金家兄弟与汉昭帝年龄都是八、九岁。汉宣帝即位，金赏担任太仆。金赏的妻子是霍光之女，霍家谋反，金赏上书休妻，得以保全，独得不受牵连。汉元帝时担任光禄勋，死后没有儿子，封国被除。元始年间为了延续绝禄的世家，封金建的孙子金当为秺侯，作为金日磾的后嗣祭祀祖先。
班固《汉书·卷六十八·霍光金日磾传第三十八》：“金日磾夷狄亡国，羁虏汉庭，而以笃敬寤主，忠信自着，勒功上将，传国后嗣，世名忠孝，七世内侍，何其盛也！本以休屠作金人为祭天主，故因赐姓金氏云。”金日磾家族历武帝、昭帝、宣帝、元帝、成帝、哀帝、平帝七朝，长盛不衰。金日磾后代在西汉末年王莽代汉时受到迫害，部分逃至山东文登丛家砚，改金姓为丛，为丛姓的起源之一。直到东汉末年汉室垂危，金日磾的后人金祎依然忠于汉室，发动了许昌兵变图谋诛杀曹操，结果事情败露被杀。汉朝灭亡以后，金家也没有随之衰落，反而枝繁叶茂。到明朝时，金氏子孙已经遍布江西、浙江、江苏。
在海外，也有金日磾后代，尤其在朝鲜半岛。刘秀建立东汉时，金日磾家族中与王莽结过亲的成员因担心被牵连，就远遁朝鲜半岛，从此为半岛带来了“金”这一姓氏，后来还混成了王族。据《新罗文武王陵之碑》记载，新罗第30代国王金法敏为金日磾后人。1894年朝鲜国王正式颁布法令，允许普通平民拥有自己的姓氏。而当时平民在选择姓氏时，都选择曾经的王族姓氏来贴金，金曾是新罗国姓，因而金姓人越来越多。因此19世纪时，金姓人口在朝鲜半岛上出现井喷。
