从皇祐三年（1051年）十月左右到京，到至和二年五月离京，不到四年时间，蔡襄往返8000里，行程近两年，待不到四年就得回去，可想而知他是极不情愿的。可是没办法，因为他在开封府没有处理好皇帝与宰相的私事，只能外放。

时间快拨十年，治平二年（1065年），曾经在福建工作6年、后又回京工作4年、位居权三司使的蔡襄，被新上任的英宗皇帝外放，以端明殿学士、礼部侍郎知杭州，这一次，他彻底离开京城，而三年后病逝于故乡。

杭州是人间天堂，是北宋除了汴京、洛阳之外最好的牧守地之一。但蔡襄很郁闷，他本来在“财政部长”的位置上干得好好的，但新上任的大领导对他非常忌恨，怀疑蔡襄阻止仁宗传位于他，非得将其踢出去不可，于是相当任性地把“财政部”的工作交给了蔡襄的副手张焘。蔡襄被架空了，只能离职。好在当权派的韩琦、欧阳修都是好朋友，给他安排了杭州这个去处。

情绪低落的蔡襄四月中旬从汴京出发，舟行一月有余，于五月二十六日到达杭州。这一年他54岁，算来也是晚年了。郁闷的他在这两年给朋友们写了很多信，其中有一封被保存下来了，名为《持书帖》。这封信也没有明确的收信人姓名字号，但细推史料，即知其为葛宫。

葛宫（992年至1072年），字公雅，长蔡襄20岁，是蔡襄妻子的堂兄。大中祥符八年（1008年）的进士，16岁登第，深为著名文学家杨亿（974年至1020年）所称赏。

离京前的三月二十日，葛宫的夫人孙氏去世了。葛宫请蔡襄为亡妻写了一份墓志铭。蔡襄原本是要带着家人一起去江阴送孙夫人最后一程的，但是自己家也发生了不幸。出了汴京到商丘时，长子蔡匀病逝，蔡襄十分悲痛，只得派一位随从带着祭礼去江阴，自己则继续赶路。葛夫人抱着儿子的灵柩彻悲啼，因哀毁过度，于十二月病逝于衢州。没有什么比中年丧妻、白发人送黑发人更令人悲伤的了，这是蔡襄人生至暗之年。

北宋 蔡襄《持书帖》27.2厘米×57.4厘米 故宫博物院藏

此前，蔡襄曾写信给葛宫，约他来杭州游玩。但葛宫未能赴约，只送来了海鲜和书信，蔡襄便立即回复这封《持书帖》，内容如下：

襄啟：数日前遣使持书棨戟之下，辄邀行舸光临弊境，计已通达当直，未审尊怀如何？惠然一来，殊为佳事。

病躯不常得安，多缘饮食而致。山羊涩而无味，虽食不过三二两，鱼鳖每食便作腹疾，以此气力不强，日久必须习惯，今未调适耳。

蒙书并海物，多感多感！ 谨奉手启上闻。不宣。

襄上，宾客七兄执事。八月二十四日。谨空。

这封信的意思是：几天前我给你写了封信，专门派人送抵府上，想来您身边的人此时应该已经收到了。我想邀请您来我这里小住几天，如能顺心前来，真是美事一桩。我的身体老出状况，主要是因为饮食没有注意好。山羊涩口，食之无味，偶尔能吃三二两。鱼鳖一吃就腹痛，所以总是觉得身体乏力，估计时间久了就好了。

蔡襄的身体一直不好，他的《脚气帖》并非偶然出现，而是多年旧疾。关键也不是脚有毛病，而是他身体整个免疫系统已经出问题了，要不是严重到如此程度，他也不会在两年后就病逝了。内容如此家常随意，非极为亲熟者不得为之。此信写于八月二十四日，猜测蔡襄之前是想邀请葛宫到杭州过中秋节。

蔡襄在杭州任职，就有必要讲述一下他修建的“清暑堂”。杭州的夏天奇热，蔡襄身患沉疴，尤其难以忍受暑热，于是在凤凰山下州衙东边的高地上修建了一所家居用的房子，取名“清暑堂”。这里地势开阔、海风对接，是避暑的好去处。

不过有意味的是，苏轼在未贬海南之前、官杭州时曾点名批评过“清暑堂”，说蔡襄不用旧署，务求造新。“清暑堂”因蔡襄之名传于后世。大约十多年后，曾弹劾过蔡襄的赵抃写了《杭州八咏》，其中有一篇写了“清暑堂”。他说“自怜清暑堂中景，容得衰翁未退身”，可谓深知蔡襄心境。