知州以后。王安石的儿子王雱对吕惠卿加害父亲的事一直耿耿于怀，欲置吕惠卿于死地而后快，恰好御史中丞邓绾也想讨好王安石，两人一合计，决定分头上表，请求皇上重新审理吕惠卿的案子。

吕惠卿也不是一盏省油的灯，当他得知王雱与邓绾上表欲置他于死地时，便提前下手，向王安石发出了致命的一击。

吕惠卿与王安石是多年的朋友，两人过去有很多书信往来，在这些书信中，当然说了一些不足为外人道的话。吕惠卿是一个有心人，他将这些书信都完好地保存下来，预备有朝一日能派上用场。当他得知邓绾和王雱在背后做他的文章时，他便想起了这些书信。于是，他便把这些书信都呈交给皇帝，并控告王安石在背后图谋不轨。

在这些信中，有几封信上有“无令上知此一帖”、“无使上知，勿令齐年知”之句，就是说，不要让皇上知道此信中的内容。至于“齐年”是谁，当时却没有深究。

赵顼对这些纷乱如麻的事情早已厌倦，看了这些信后，第一次冲王安石发了脾气。

王安石回家之后，痛骂自己的儿子，骂他不该背着自己去招惹吕惠卿。父子二人为此大吵了一场。

王雱显然不知道吕惠卿手中藏有这些信，并且握有父亲的把柄。深悔自己行动鲁莽，给父亲带来灾难。受父亲的斥责后，心中憋气，以致抑郁成疾，立即就病倒了，不久，背上生出一个恶疮。

王安石遍请郎中医治，终究没有挽回儿子的生命，王雱撒手归西了。

老来丧子，是人生之大不幸。儿子的猝然离世，对王安石是一个沉重的打击，他肝肠寸断，萌生退意，上表请求辞职。

御史中丞邓绾担心王安石一去，自己失去了靠山，禄位就不保，上表奏请赵顼挽留王安石。

赵顼认为邓绾身为御史，竟然为大臣请恩，免去邓绾之职，贬往虢州去为知州。王安石去意更坚，力请解除职务，

熙宁九年（1076年）十月，赵顼第二次罢免了王安石的相职。

王安石带着壮志未酬的遗憾和满腹的伤悲离开了京城，结束了自己的政治生涯，退居金陵，潜心学问，不问政治。

王安石既退处金陵，经常书写“福建子”三字。福建子是指吕惠卿，因为是深悔被吕惠卿所误。

王安石罢相后，赵顼提拔吴充、王珪为同平章事，冯京知枢密院事，蔡确参知政事。

吴充与王安石是儿女亲家，他一向不赞成王安石的所为，经常向赵顼奏陈新法不良，赵顼喜欢他不党附王安石，故提拔为宰相。冯京与王安石是同年，王安石致吕惠卿私书中“勿令齐年知”一语中的齐年，指的就是冯京。赵顼事后知道了这件事，认为冯京是个贤者，召他知枢密院事。

吴充当了宰相后，欲对新法有所变革，但他认为自己才疏学浅，奏请赵顼召回司马光、吕公著、韩维等人，又举荐孙觉、李常、程灏等数十人。