罐里，存放在数十间专门的仓库中，仓库钥匙由元载亲自保管，连家人都难得一见。
元载的贪腐与专权，渐渐超出了代宗的容忍限度。起初，代宗念及他的功劳，对他的行为多有纵容——甚至在听到朝臣弹劾元载后，还私下召元载入宫，温言劝他：“卿为相多年，劳苦功高，只是近日非议颇多，不妨收敛些。”可元载不仅不听，反而觉得代宗离不开自己，愈发跋扈：他派人监视朝臣言行，连御史弹劾他的奏折，都能提前截获；甚至暗中控制皇宫宫门守卫，代宗的行踪，他都能随时知晓。
大历十二年（767年），代宗终于下定决心除掉元载。他先召来心腹大臣李泌、吴凑，秘密商议计策，又任命吴凑为京兆尹，让他暗中收集元载贪腐、结党营私的证据。同年三月，代宗以“元载图谋不轨”为由，命吴凑带兵包围元载府第。当士兵撞开府门时，元载正在书房与亲信卓英倩商议如何进一步控制神策军，见士兵闯入，顿时面如死灰，瘫坐在椅子上。
元府被查抄后，得到的财富连皇帝都大为震惊：府中除了堆积如山的金银、玉器、古玩，还有数百匹织金锦缎、上千件绫罗绸缎；洛阳的庄园、长安的豪宅，加起来价值数百万缗；而当士兵打开那数十间存放胡椒的仓库时，只见陶罐整齐排列，打开盖子，浓郁的胡椒香气扑面而来——清点后，竟有整整八百石。史书记载，代宗看到抄家物品清单后，久久不语，最后说了一句：“朕不知，他竟贪到了如此地步。”
不久后，代宗下旨，将元载赐死，其妻子王韫秀、儿子元伯和、元仲武等全部处死，亲信卓英倩等人也被流放。元载死后，他府中的胡椒被尽数没收，一部分送入皇宫御膳房，其余的则分赐给朝中百官，每人可得数十斤——代宗用这种方式，让百官亲眼看看元载的贪婪，以此警示朝堂。