琨见司马伦大势已去，又转投了司马颖。后来司马颖和东海王司马越又反目，司马越派自己的弟弟司马腾出镇邺城，刘琨因为跟司马腾关系不错，就跟着司马腾去了河北。
在河北期间，刘琨第一次跟胡人有了交集。当时司马颖手下有个部将叫石超，是个猛将，率军攻打司马腾，司马腾打不过，就向北方的鲜卑段部求援。鲜卑段部是当时北方比较强的胡族部落，首领段务勿尘派儿子段匹磾（就是后来跟刘琨结盟又杀了他的那位）带兵来帮司马腾，刘琨就跟着这支联军一起作战，第一次见识到了胡族骑兵的厉害，也学会了怎么跟胡人打交道。
不过，八王之乱的最后赢家是东海王司马越，他在公元306年杀了河间王颙和成都王颖，掌控了西晋朝政。可这时候的西晋，早就被折腾得只剩一口气了——中原的兵力被耗光，老百姓流离失所，田地荒芜，而北方的胡族，早就盯着这块肥肉了。其中最厉害的，就是匈奴人刘渊。
刘渊是匈奴冒顿单于的后代，因为汉朝曾跟匈奴和亲，所以他的家族姓刘。刘渊早年在洛阳当人质，对西晋的虚实了如指掌，后来回到匈奴部落，被推举为大单于。八王之乱时，刘渊见西晋内乱，干脆在左国城（今山西离石）自立为“汉王”，后来又在永嘉二年（公元308年）称帝，国号“汉”，也就是后来的“前赵”。这刘渊可不是个善茬，他手下有大批能征善战的匈奴骑兵，还有汉人谋士给他出主意，没几年就把山西、河南的大片土地占领了。
永嘉五年（公元311年），刘渊的儿子刘聪派大将刘曜、石勒（后来建立后赵的羯族首领）率军攻打洛阳，这就是历史上的“永嘉之乱”。匈奴兵打进洛阳后，烧杀抢掠，把晋怀帝（当时晋惠帝已死，怀帝继位）给抓了，还杀了三万多老百姓，连西晋的宗庙都被烧了。洛阳一破，西晋朝廷是树倒猢狲散，大臣们要么往南逃（后来在南京建立了东晋），要么干脆投降胡人。北方的各州郡，太守、刺史们不是跑就是降，比如并州刺史刘乔，见匈奴兵来了，直接弃城逃跑；青州刺史苟曦，后来也投降了石勒。只有少数人还在坚守城池——刘琨，就是这少数人里最有名的一个。
那时候刘琨刚四十岁出头（公元311年，刘琨四十岁），之前跟着司马腾在河北打了几年仗，有些军事经验。他看着北方一天天沦陷，心里急得跟火烧似的，主动向当时还在长安的西晋朝廷（永嘉之乱后，大臣们在长安立了晋愍帝）请命：“让我去守晋阳吧！晋阳是并州的治所，是山西的门户，守住晋阳，就能挡住胡人南下！”
各位，您可别以为刘琨是一时冲动。并州（今山西一带）是刘琨的老家，他对这里的地理、人情都熟悉；而且晋阳地处汾河谷地，东有太行山，西有吕梁山，易守难攻，确实是抵御胡人的战略要地。可当时的朝廷早就自身难保了，长安城里连粮食都快没了，哪有兵力和粮草支援他？朝廷见有人主动挑担子，赶紧答应，给了他个“并州刺史”的头衔，还封了个“振威将军”，让他自己带兵去晋阳。
刘琨这一去，简直是“光杆司令上战场”。《晋书·刘琨传》里写道：“琨募得千余人，转斗而前”——他就靠自己的名声，在河北招募了一千多个流民中的青壮年，组成了一支临时军队，一路往北走。那时候的北方，早就不是太平景象了，从河北到晋阳，一路上到处是逃难的百姓，还有抢劫的乱兵和小股胡族骑兵，有时候走一天都见不到一个活人，只能靠野果、草根充饥。
有一次，他们走到上党郡（今山西长治一带），遇到了一股匈奴骑兵，大概有几百人。刘琨的士兵大多是没经过训练的流民，刚看到匈奴骑兵一下子就慌了。刘琨却很镇定，他让士兵们列成方阵，自己亲自站在阵前，拿起弓箭，一箭就射倒了匈奴骑兵的首领。士兵们见主将这么勇敢，也来了劲，跟着刘琨一起冲锋，硬