蒙却率先上表效忠，言称“愿随新主，共保江东”。孙权见吕蒙忠诚，又念及其勇名，便让他统领原属邓当的部曲。
孙权继位后，为整合军力，打算将军中兵力较少、威望不足的小将部曲合并，吕蒙的部曲也在其中。得知消息后，吕蒙心中焦急——他深知，部曲是将领的根基，一旦被合并，自己便再难有出头之日。左右劝他：“主公之意已决，将军不如顺从，免得触怒主公。”吕蒙却摇头：“若不设法保全，日后何以建功？”
他暗中筹谋，先是赊贷钱财，为麾下士卒赶制绛色军服与绑腿，又每日亲自督练士卒，从队列、阵法到武艺，无一不教。训练场上，士卒们噔噔的脚步声整齐划一，绛色军服在阳光下格外醒目，吕蒙手持长枪，亲自示范刺杀动作，汗水浸透衣衫也不顾。
几日后，孙权亲自检阅各部，当行至吕蒙部曲前，只见士卒们阵列整齐，精神抖擞，军服鲜亮，与其他部曲的散乱形成鲜明对比。孙权不禁驻足，令吕蒙下令演练阵法，士卒们进退有序，动作娴熟，全无往日的松散之态。孙权大喜，走上前抚着吕蒙的肩膀道：“子明，你竟将部曲训练得如此之好！孤先前竟不知你有这般才能。”当即下令，不再合并吕蒙的部曲，反而增拨了两百名士卒归他统领。
建安十三年（208年），孙权为报父仇（孙坚曾被黄祖部将射杀），决定再次征讨黄祖。黄祖时任江夏太守，凭借江夏的险要地势与水军，多次抵御孙权的进攻，成为江东的心腹之患。此次出征，孙权以周瑜为左都督，程普为右都督，吕蒙为前部先锋。
黄祖得知孙权来攻，令部将陈就率领水军扼守沔口，又在两岸修筑营寨，布下弓弩，意图凭借水军优势阻挡吴军。吴军抵达沔口后，陈就率战船出击，船上士卒手持长矛，高声呐喊，气势汹汹。吕蒙见状，对麾下士卒道：“陈就乃黄祖心腹，若斩得陈就，黄祖军必乱！”
说罢，吕蒙亲自率领数十艘轻舟，冒着箭雨直冲陈就的战船。江面上，箭矢簌簌射来，吕蒙身披铠甲，手持盾牌，指挥轻舟绕到陈就战船侧面，然后纵身一跃，跳上敌船。“拿命来！”吕蒙大喝一声，挥刀便向陈就砍去。陈就猝不及防，急忙举矛格挡，锵锵一声，矛杆被刀砍断，吕蒙趁势一脚将陈就踹倒，手起刀落，斩下其首级。
吴军士卒见主将斩了陈就，士气大振，纷纷呐喊着冲锋。黄祖军见陈就战死，果然大乱，战船四散奔逃。吕蒙率军追击，又攻破两岸营寨，为吴军主力打开了通路。孙权率领大军随后跟进，一举攻克江夏，黄祖在逃亡途中被吴军擒杀。
战后论功，孙权对众将道：“此次征讨黄祖，能破敌制胜，全赖子明斩陈就之功！”当即升任吕蒙为横野中郎将，赐钱千万。吕蒙却将赏赐尽数分给麾下士卒，道：“功劳是众将士一起立下的，我岂能独吞？”士卒们深受感动，对其更加拥戴。
建安十三年（208年）冬，曹操率大军南下，占领荆州后，顺江而下，意图一举平定江东。孙权与刘备结盟，以周瑜为左都督，程普为右都督，率军在赤壁抵御曹军。吕蒙作为周瑜麾下将领，参与了此次战役。
曹军多为北方人，不习水战，又遭遇瘟疫，士气低落。周瑜与诸葛亮定下火攻之计，却苦于没有机会接近曹军战船。吕蒙向周瑜献策：“可派数艘小船，伪装成粮船，趁夜靠近曹军水寨，再点火烧船。我愿率军为先锋，吸引曹军注意力。”周瑜采纳了吕蒙的建议，令黄盖诈降，吕蒙则率领一部兵力，在曹军水寨附近游弋，制造进攻假象。
决战之夜，江风猎猎，黄盖率领十艘满载薪草、膏油的小船，打着投降的旗号驶向曹军水寨。曹军将士以为黄盖真的来降，纷纷出营观看，毫无防备。此时，吕蒙率领的战船突然向曹军侧翼发起进攻，鼓声大作，喊杀声震天。曹军慌忙调兵抵御，却忽略了黄盖的小船。<