早早起床，为杜甫准备简单的早餐，然后带着孩子们在院子里种菜；傍晚，杜甫会牵着杨氏的手，在浣花溪边散步，看着夕阳洒在江面上，听着孩子们的欢声笑语。杜甫在《江村》中写道：“清江一曲抱村流，长夏江村事事幽。自去自来梁上燕，相亲相近水中鸥。老妻画纸为棋局，稚子敲针作钓钩。但有故人供禄米，微躯此外更何求。”“老妻画纸为棋局”一句，生动地描绘出杨氏与杜甫在草堂中的生活场景——没有昂贵的棋盘，杨氏便在纸上画棋盘；没有精致的钓钩，孩子们便用针敲弯了做钓钩。这份贫贱中的乐趣，是乱世中最珍贵的温情。
可是好景不长，唐代宗宝应元年（公元762年），严武奉调离开成都，杜甫失去了友人的接济，草堂的生活再次陷入困境。同年，唐玄宗、唐肃宗先后病逝，唐代宗即位，安史之乱虽已接近尾声，却又爆发了徐知道之乱，成都陷入混乱。杜甫与杨氏不得不再次带着孩子们逃离草堂，前往梓州（今四川三台）、阆州（今四川阆中）等地避难。
离开草堂的那天，杨氏看着自己亲手打理的院子，看着杜甫精心栽种的花木，眼中满是不舍。杜甫牵着她的手，轻声说：“只要我们一家人在一起，哪里都是家。”杨氏点点头，擦干眼泪，再次拿起行囊，跟着杜甫踏上了逃难之路。
唐代宗广德二年（公元764年），严武再次出任剑南节度使，回到成都。杜甫与杨氏得知消息后，便又回到了成都草堂。严武对杜甫十分赏识，推荐他担任检校工部员外郎，这便是后世称杜甫为“杜工部”的由来。
可在唐代宗永泰元年（公元765年），严武病逝。严武的去世，不仅让杜甫失去了仕途上的依靠，也让他失去了生活上的接济。成都的局势再次变得动荡，杜甫与杨氏不得不再次离开成都，前往夔州（今重庆奉节）。
此时的杜甫，已年过半百（53岁），身体因常年漂泊而变得十分虚弱，患上了肺病、风湿病等多种疾病。杨氏便成了他的“贴身医官”，每日为他煎药、按摩，细心照料他的饮食起居。夔州的冬天十分寒冷，杨氏怕杜甫着凉，便将自己的棉衣拆了，重新絮上棉花，给杜甫做了一件更厚的棉衣；杜甫咳嗽不止，她便每天清晨去山上采些草药，熬成汤药给杜甫喝。
杜甫在《登高》中写道：“万里悲秋常作客，百年多病独登台。艰难苦恨繁霜鬓，潦倒新停浊酒杯。”诗中的“百年多病”，正是他当时身体状况的真实写照。而杨氏的陪伴与照料，则是他苦难生活中的唯一慰藉。有一次，杜甫因病重卧床不起，甚至产生了轻生的念头。杨氏坐在他的床边，握着他的手，泪水直流：“你不能丢下我们母子，孩子们还需要你，我也需要你。只要你好好活着，再苦再难，我都陪着你。”
在杨氏的悉心照料下，杜甫的身体渐渐有了好转。他在夔州期间，创作了大量的诗歌，仅在夔州的两年时间里，就写下了近四百首诗，占其一生诗作的近三分之一。这些诗中，既有对乱世的感慨，也有对生活的热爱，更有对杨氏的感激。他在《复愁十二首》中写道：“药饵虚狼藉，秋风洒病容。”看似写自己的病容，实则暗藏对杨氏每日为他准备药饵的感激——那些散乱的药饵，是杨氏对他的深情。
那几年，杨氏常常陪着杜甫在夔州城外的白帝城上散步，看着长江滚滚东流，听着杜甫吟诵自己的诗作；杜甫则常常为杨氏写诗，记录下她的艰辛与温柔。他在《又呈吴郎》中写道：“堂前扑枣任西邻，无食无儿一妇人。不为困穷宁有此？只缘恐惧转须亲。”诗中虽写的是西邻老妇，却也暗含对杨氏的理解——他深知，在乱世中，女性的生存更为艰难，而杨氏能带着子女熬过这么多苦难，实属不易。
唐代宗大历三年（公元768年），杜甫因思念故乡，决定离开夔州，前往荆州（今湖北荆州），再从荆州返回河南老家