相秦桧，最终名落孙山。陆游失意而归，心中烦闷，唐琬便时常安慰他，陪他在镜湖岸边散步，帮他排解愁绪。可在陆母看来，这却是唐琬“迷惑”陆游的证据——她认为唐琬总是与陆游黏在一起，让陆游无心向学，才导致科举失利。
第二件事，是唐琬婚后未生育。在封建时代，“不孝有三，无后为大”的观念根深蒂固，陆母本就盼着能早日抱上孙子，可唐琬婚后一年多，肚子始终没有动静，这让陆母的不满愈发强烈。她开始私下里对唐琬冷言冷语，有时甚至故意刁难，唐琬虽心中委屈，却从不与陆母争执，只是默默承受，她觉得只要自己做得更好，陆母总有一天会接纳她。
可陆母的态度却越来越差。有一次，陆游不在家，陆母把唐琬叫到面前，严厉地说：“你嫁入陆家，本该以相夫教子为重，可你看看你，不仅没为陆家生下一儿半女，还让务观分心，耽误了他的前程！你这样的媳妇，如何配得上我们陆家？”唐琬听后，泪水忍不住落下，她想解释，却被陆母打断：“你不必多说，若是再这样下去，我便不会再容你。”
唐琬把陆母的话告诉了陆游，陆游听后十分生气，他立刻去找母亲辩解：“母亲，科举失利是我自己的原因，与蕙仙无关；至于生育，也是缘分未到，您怎能怪她？蕙仙温柔贤淑，是个好妻子，您不能对她这么苛刻。”可陆母却态度坚决：“我是为了你好！你若想有出息，就必须与她分开！否则，你这辈子都别想有出头之日！”
陆游陷入了两难的境地：一边是生养自己的母亲，一边是深爱的妻子。他试图劝说母亲，可陆母心意已决，甚至以“绝食”相逼。陆游看着母亲日渐憔悴的面容，心中痛苦万分，在“孝”字面前，陆游没有选择——封建礼教下，“父母之命”大于天，他若执意反抗，便是“不孝”，会被那个社会所不容。
唐琬看着陆游日渐消瘦的模样，心中明白，他们的婚姻已经走到了尽头。有一天晚上，她看着陆游，轻声说：“夫君，我知道你为难。若是母亲实在容不下我，不如……我们便分开吧。”陆游听后，紧紧抱住唐琬，泪水落下：“我不想让你走，我舍不得你。”唐琬也哭了：“我也舍不得你，可我不想看到你为了我，与母亲反目，更不想耽误你的前程。”
陆游并未真正休弃唐琬，而是在山阴城外的沈园附近，为她租了一处别馆，偷偷与她相会。他想，等母亲的气消了，再慢慢劝说，或许还有挽回的余地。
那段时间，陆游常常借口“外出读书”，前往别馆与唐琬相聚。每次见面，两人都格外珍惜时光，他们会像从前一样，一起做饭、读书、写诗，仿佛回到了刚结婚时的美好岁月。可这样的相聚，却充满了不安——他们害怕被陆母发现，每次分别时，都像是生离死别。
唐琬曾在别馆的墙壁上题过一首词，其中有“相思难表，梦魂无据，惟有归来是”之句，字里行间满是对团圆的期盼。陆游见后，心中更是愧疚，他对唐琬说：“蕙仙，再给我一点时间，我一定会想办法让你回家。”唐琬只是温柔地摇头：“我不着急，只要能和你在一起，在哪里都一样。”
可纸终究包不住火。绍兴十七年（1147年）的一个春日，陆母得知了陆游偷偷与唐琬相会的事，她怒不可遏，亲自带人前往别馆。彼时陆游正在别馆与唐琬下棋，听到外面的喧闹声，便知道是母亲来了。他让唐琬赶紧从后门离开，自己则出去应付母亲。
陆母见到陆游，气得浑身发抖：“你竟然还敢在这里私会！我看你是彻底被她迷惑了！今天我就告诉你，你要么跟我回家，从此与她断绝往来；要么，你就永远别认我这个母亲！”陆游看着母亲愤怒的眼神，心中终于绝望了——他知道，自己再也无法维系这段感情了。
这一次，陆母没有给陆游任何机会，她亲自写下休书，逼迫陆游签字。陆游握