有些老人甚至还记得西晋的年号。他们纷纷拿出家里仅有的粮食、酒肉，送给晋军士兵，嘴里不停地喊着“官军”“王师”。桓温看着这些百姓，心中也泛起了酸楚——他知道，这些百姓期盼的，是“收复中原，重归汉室”，而他肩上扛着的，不仅是自己的野心，还有无数汉人的希望。他扶起那位老人，安慰道：“各位父老放心，我军此次北伐，就是为了收复中原，让大家重新做晋朝的百姓。待我攻克长安，必奏请朝廷，让陛下迁都于此，重现汉室荣光。”
可现实很快便给了桓温一记重击——他遇到了北伐最致命的问题：缺粮。
前秦皇帝苻健，虽是胡人，却深谙“持久战”的道理。他知道桓温的大军从江南而来，补给线漫长，因此采取了“坚壁清野”的战术：他下令将长安城外的庄稼全部烧毁，将周边的百姓尽数迁入城中，让晋军在野外找不到一粒粮食、一个能提供补给的村落。桓温的大军在灞上驻留了几十天，粮食越吃越少，士兵们开始出现饥饿的情况。
为了解决粮荒，桓温曾派人去周边寻找粮食，可找到的只有被烧毁的农田和空无一人的村落。他也曾尝试与前秦决战，可苻健始终紧闭城门，不与晋军交战，只派苻雄率领少量骑兵，不断袭扰晋军的粮道。
公元354年五月，苻雄瞅准时机，率领五千骑兵，偷袭了晋军的粮道。桓温派大将桓冲（桓温的弟弟）率军救援，结果在白鹿原被苻雄击败，晋军损失了一万多士兵，粮道也被彻底切断。
粮道断绝，士兵死伤，桓温知道，此次北伐已无成功的可能。他站在灞上，望着近在咫尺的长安城，心中充满了不甘——只要再有一个月的粮食，他就能攻克长安，就能完成“收复故都”的壮举，可他偏偏没了粮食。
无奈之下，桓温只得下令撤退。撤退时，他想将关中的百姓迁到江南，以增强东晋的实力，也为日后的北伐储备人力。可百姓们却犹豫了——他们怕路上遭遇战乱，更怕桓温走后，前秦会对他们进行报复。最终，只有三千多户百姓愿意跟着桓温南下。
第一次北伐，就这样以“功败垂成”告终。桓温虽打到了长安城外，获得了百姓的支持，却因缺粮而撤退，未能收复长安。但从政治层面来看，桓温的目的已经达到：他通过此次北伐，向朝廷证明了自己的军事才能，也让更多的人认可了他的声望。而朝廷中反对他的人，比如时任扬州刺史的殷浩（东晋名士，曾与桓温争夺兵权），后来因北伐前燕失败，被桓温弹劾罢免，桓温的权力进一步扩大——他不仅掌控了荆州、益州，还趁机接管了扬州的部分兵权，成了东晋名副其实的“军事第一人”。
第一次北伐后，桓温的声望达到了新的高度。他在荆州推行“屯田制”，组织士兵开垦荒地，积累粮食，为下一次北伐做准备；同时，他也在朝廷中不断扩张势力，将自己的亲信安插到各个重要岗位，逐渐掌控了东晋的朝政。
公元356年，桓温发起了第二次北伐，此次的目标是盘踞在洛阳一带的羌族首领姚襄。姚襄本是后赵的将领，后赵灭亡后，他投降了东晋，却因不满东晋朝廷的猜忌，于公元355年叛变，率军攻占了洛阳，欲以洛阳为基地，在中原自立门户。
洛阳对东晋来说，有着特殊的意义——它是东汉、曹魏、西晋三朝的都城，是“中原正统”的象征。收复洛阳，比收复长安更能提振人心。因此，桓温将第二次北伐的目标锁定为洛阳，既是为了消灭姚襄的势力，也是为了通过“收复故都”，进一步巩固自己的声望。
这一次，桓温吸取了第一次北伐缺粮的教训。他提前在淮河、泗水一带囤积了大量粮食，并亲自率领两万大军，从江陵出发，沿淮河北上，采取“稳扎稳打”的战术，避免深入敌境导致补给断绝。同时，他还派大将檀玄、胡彬率领偏师，袭扰姚襄的侧翼，牵制其兵力。<