元年（682年）四月，裴行俭在长安的家中去世，享年六十四岁。
唐高宗得知裴行俭去世的消息后，悲痛不已，下令停朝三日，追赠裴行俭为幽州都督，陪葬昭陵——昭陵是唐太宗李世民的陵墓，只有立过大功的功臣才能葬在那里，这是唐朝对功臣的最高荣誉。
裴行俭去世的消息传到西域，西域的部落首领们都很伤心——药罗葛·比栗派使者带着回纥的特产来长安吊唁；尉迟伏阇雄下令于阗国的百姓戴孝三日；安西都护府的士兵们自发地在军营里摆了灵位，祭拜裴行俭。
长安的士人也很怀念裴行俭——有人把他的书法作品挂在墙上，日夜欣赏；有人重印了《草字杂体》，让更多人学习他的书法；还有人写了诗纪念他，其中有一句是“瀚海风沙今犹在，不见当年裴公行”，道尽了人们的思念。