建元二年，卫少儿的妹妹卫子夫得到了汉武帝的宠幸，并于一年多后，卫家全族都受到了宠信，地位水涨船高。
而卫少儿因为曾经与曲逆侯陈平的曾孙陈掌私通，因此顺理成章的嫁给了陈掌。
元朔元年，卫子夫在宫中被立为皇后。年幼的霍去病也因此跻身成为了当时最大的外戚家族的一员，过上了贵族儿郎的生活。
霍去病自小就展现出来了惊人的骑射天赋，又因为姑母卫子夫是皇后，经常能看到汉武帝。
一来二去，汉武帝也看到了霍去病身上的天赋，爱屋及乌，也喜欢上了这个便宜外甥。并让霍去病做了自己的近臣侍中。
元朔六年，年仅十八岁的霍去病就被武帝任命为剽姚校尉，跟随大将军卫青出击匈奴。
卫青接受诏令后，授予霍去病壮士。
随后，霍去病就独自带领着轻勇骑八百人，直接甩下大军数百里，伺机突袭匈奴大军。
这是他第一次率兵出征，却一举拿下了“斩捕首虏过当”的战绩。其中俘虏中就包括匈奴的相国、当户等高级官员，同时也斩杀了匈奴单于伊稚斜的祖父辈籍若侯产，并俘虏单于的叔父罗姑比。
两次战绩冠绝全军，上下无一人不服。
大战归来后，汉武帝割下南阳郡穰县的庐阳乡、宛县的临駣聚为冠军侯国，封霍去病为冠军侯。
元狩二年，年仅二十岁的霍去病，再次被汉武帝任命为骠骑将军。
年初，霍去病率领一万骠骑军出战陇西，“逾乌盭，讨遬濮，涉狐奴”，转战河西五国。
一路收获了不少辎重人马，且对降服者予以宽赦，在与单于的儿子交战时，几乎将其生擒。
紧接着，霍去病就越过焉支山，转战六天，急行军一千多里，最终在皋兰山下与匈奴军激战，重创匈奴，杀死匈奴折兰王、卢侯王，歼灭其精锐，浑邪王子及相国、都尉等全部被俘。
在同年夏天，霍去病与合骑侯公孙敖从北地郡率军兵分两路进军。
公孙敖因为中途迷路而未按时赶赴战场，未能与霍去病会合。
霍去病直接孤军深入，远涉浚稽山南的湖泽，越过居延海，降服小月氏，最终打到了祁连山，俘获得单于单桓、酋涂王，收降其相国、都尉以下的降者二千五百人。
在此役中，让匈奴的实力受到一次极大的打击，而汉军自身折损却仅约十分之三。
汉武帝收到传回的捷报后，再次加封霍去病食邑五千四百户。
元狩四年春，汉武帝继续任命卫青与时年二十二岁的霍去病各率骑兵五万，步兵数十万，分别从定襄和代郡两地出发，深入漠北，寻歼匈奴主力。
霍去病率五万骑兵，以将军李敢等为大校，从代郡出发、右转北平郡，一路北进两千多里。