全部精力投入到边防建设之中。他首先整顿军纪，加强士兵的骑射训练，每日亲自督导，甚至与士兵一同演练；其次，他完善了边境的烽燧制度，在边境线上每隔数十里便设立一座烽燧台，派士兵日夜值守，一旦发现匈奴骑兵，便以烽火为号，传递军情；此外，他还时常率领骑兵出塞巡逻，侦查匈奴动向，熟悉边境地形。
在与匈奴的交锋中，李广充分发挥了自己“善骑射”“善突袭”的特点。匈奴骑兵多以“游击战术”为主，来时迅猛，去时迅捷，汉军往往难以捉摸其行踪。李广却摸索出一套应对之法：他挑选了数百名精锐骑兵，组成“快速反应部队”，一旦烽燧台传来警报，便立即率部出击，凭借对地形的熟悉，绕至匈奴骑兵后方，发动突袭。匈奴骑兵往往只顾劫掠，不备后路，常被李广部杀得措手不及。
一次，匈奴派遣数千骑兵入侵上谷郡，劫掠了两个村落，正欲满载而归时，李广率三百骑兵赶到。匈奴骑兵见汉军人数较少，便摆开阵势，准备迎战。李广手下的骑士皆面露惧色，劝李广暂且撤退，等待大军增援。李广却说道：“我等若退，匈奴必追，届时我等无险可守，必败无疑；若趁其立足未稳，主动出击，或可破敌。”说罢，他令骑兵分为两队，一队从左侧迂回，一队从右侧包抄，自己则率数十骑直冲匈奴阵前。
匈奴阵中一名将领见状，拍马出列，欲射杀李广。李广不等他搭箭，便抢先射出一箭，正中其面门。匈奴骑兵大惊，阵脚稍乱。此时，左右两队汉军骑兵已包抄到位，齐声呐喊，发起冲锋。匈奴骑兵误以为汉军主力已到，心生恐慌，纷纷调转马头逃窜。李广率部追击数十里，斩杀匈奴兵卒百余人，夺回了被劫掠的人畜与财物。
此役过后，李广在匈奴人中的名声渐起，匈奴人皆称他为“飞将军”——言其骑兵速度快如飞，且箭术精准，令人防不胜防。此后，李广又先后调任上郡、陇西、北地、雁门、代郡、云中等边郡太守，无论到哪个郡，他都坚持从严治军，积极防御，匈奴骑兵只要听闻李广在任，便极少再进犯该郡。
在守边的十余年间，李广还留下了许多脍炙人口的故事，其中最着名的便是“射石没镞”。那日，李广率部在右北平郡（今河北承德一带）出塞巡逻，行至一处山谷时，天色已晚，暮色中，他忽见前方巨石旁伏着一只猛虎，正虎视眈眈地盯着队伍。李广心中一惊，当即取弓搭箭，用尽全身力气射出。只听“噗”的一声，箭矢正中“猛虎”。待手下骑士上前查看时，却发现那并非猛虎，而是一块形似猛虎的巨石，而李广射出的箭矢，竟整个箭头都嵌入了石棱之中，只余下箭杆在外。众人皆惊叹不已，李广自己也颇为诧异，随后又尝试射了几箭，却再也无法将箭矢射入石中。此事传开后，“飞将军”的威名更盛，匈奴人听闻后，更是对他敬畏有加。
汉武帝即位后，汉朝经过文景之治的积累，国力已极为强盛，府库充盈，兵马强壮，武帝便有了改变“和亲”政策、对匈奴发起战略反击的想法。元光二年（公元前133年），大行王恢向武帝献上“马邑之谋”——利用匈奴单于贪图财物的特点，以马邑城（今山西朔州）为诱饵，诱使匈奴单于率大军前来，再埋伏汉军主力，将其一举歼灭。
武帝采纳了王恢的建议，任命韩安国为护军将军，统领全军，李广任骁骑将军，公孙贺任轻车将军，王恢任将屯将军，李息任材官将军，共调集三十万汉军，分别埋伏在马邑城周围的山谷之中，只待匈奴单于入瓮。
按照计划，首先由马邑城的富豪聂壹出面，假装背叛汉朝，向匈奴单于献上马邑城，称愿为内应，斩杀马邑城守将，将城池与城中财物献给单于。匈奴单于久闻聂壹之名，又贪图马邑城的财富，便信以为真，率领十万铁骑，从代郡出发，向马邑城进发。
李广率领的骁骑部队，被部署在马邑城