天来了，很多士兵还没棉衣，冻得瑟瑟发抖。刘琨知道，再这么耗下去，晋阳肯定守不住，他得想个办法。
有一天晚上，刘琨在城楼上巡查，听到城外的匈奴兵在唱歌，唱的是匈奴的民歌，听起来很凄凉。刘琨突然有了主意——匈奴兵远离家乡，肯定思乡，不如用音乐打动他们。他让人找来一个会吹胡笳的士兵，让他在城楼上吹《胡笳十八拍》。这《胡笳十八拍》本来是匈奴人的曲子，讲的是远离家乡的思乡之情，胡笳的声音又悲又怨，在夜里传得很远。
匈奴兵在城外听着，想起了自己的家乡、亲人，心里都不是滋味，有的士兵甚至哭了起来。刘琨又让人在城里点起好多火把，假装要偷袭匈奴营寨，还让士兵们大喊：“晋军来了！晋军来了！”匈奴兵本来就没心思打仗，一看城里火光冲天，以为晋军真的要偷袭，吓得连夜撤退了。这就是历史上有名的“胡笳退敌”。
可刘琨心里清楚，光靠晋阳一座城，根本挡不住胡人。匈奴人这次退了，下次肯定还会来；而且除了匈奴，羯族石勒的势力也在壮大，石勒当时已经占领了河北大部分地区，对晋阳也是虎视眈眈。刘琨知道，他必须找帮手——北方的鲜卑部落。
当时北方有几个比较强的鲜卑部落：段部（在今河北东部）、拓跋部（在今内蒙古南部、山西北部）、慕容部（在今辽宁西部）。其中段部和拓跋部离晋阳比较近，而且和匈奴也有矛盾——匈奴人想吞并鲜卑的地盘，鲜卑人也苦于被匈奴侵扰。刘琨就先派人去联络拓跋部的首领拓跋猗卢。
拓跋猗卢是个很有野心的人，他想扩大自己的势力，也想得到西晋朝廷的认可。刘琨派人跟他说：“只要您帮我对抗匈奴，我就上表朝廷，封您为代公，还把雁门郡（今山西雁门关一带）的土地赐给您。”拓跋猗卢很高兴，立马答应出兵。永嘉六年（公元312年）六月，拓跋猗卢派儿子拓跋六修率军三万，来帮刘琨。
有了鲜卑兵的帮助，刘琨的底气足了不少。他和拓跋六修一起，率军进攻匈奴占领的晋阳外围据点——黄父（今山西沁源）。匈奴守将是刘曜的部将綦毋豚，根本不是鲜卑骑兵的对手，很快就被打败，綦毋豚也被杀死。这一战，晋军和鲜卑军大获全胜，不仅解了晋阳的围，还收复了不少失地。
战后，刘琨亲自送拓跋六修回拓跋部，还和拓跋猗卢在陉岭（今山西代县雁门关）会盟，两人歃血为盟，约定“共讨匈奴，同复中原”。刘琨还真的上表朝廷，封拓跋猗卢为代公，赐给雁门郡的土地——这也是后来拓跋部建立“代国”（北魏的前身）的基础。各位，从这里就能看出刘琨的远见：他知道单凭汉人之力，很难在北方立足，必须联合所有能联合的力量，哪怕是胡人。
后来，刘琨又和鲜卑段部的首领段匹磾结盟。段匹磾是段务勿尘的儿子，之前刘琨跟着司马腾时就认识他，两人关系不错。建兴二年（公元314年），段匹磾率军来到晋阳，刘琨亲自出城迎接，两人在晋阳城里举行了盟誓仪式，约定一起对抗石勒。为了表示诚意，刘琨还把自己的儿子刘遵送到段匹磾的根据地厌次（今山东惠民）当人质——这在当时是很常见的做法，用来证明自己不会背叛盟友。
有了拓跋部和段部的帮助，刘琨在北方的势力达到了顶峰。他控制了晋阳及周边地区，手下有几万士兵，还得到了北方百姓的支持——那时候的北方，只要提起刘琨的名字，老百姓都竖大拇指，说：“刘大人是咱们汉人的救星！”甚至有不少流民从河北、河南跑来投奔他，晋阳城里的人口最多时达到了几万人，又恢复了往日的热闹。
刘琨还写了一首《扶风歌》，记录自己赴晋阳的经历和报国的决心，诗里写道：“朝发广莫门，暮宿丹水山。左手弯繁弱，右手挥龙渊。顾瞻望宫阙，俯仰御飞轩。据鞍长叹息，泪下如流泉。系马长松下，发鞍高岳