杭州的捷報和随之而來的封賞，并未讓許墨有絲毫輕松。兵部尚書的頭銜如同燙手的山芋，太子太保的榮耀下是無數雙忌憚的眼睛。朝中的暗流非但沒有平息，反而因他聲望的如日中天而更加洶湧。彈劾他“擅啟邊釁”、“尾大不掉”、“結交武将（指俞大猷等）”的奏章，如雪片般飛向皇帝的案頭，雖被楊一清盡力壓下，但風聲鶴唳，已是人盡皆知。
許墨深知，自己已站在了風口浪尖。功高震主，古來如是。更何況當今天子并非雄才大略之主，猜忌之心日重。繼續留在朝堂，要麼同流合污，消磨壯志，要麼遲早成為黨争的犧牲品，甚至累及家人。朱翊鈞臨死前那瘋狂的話語，雖屬叛逆之言，卻也不無道理，這帝國的沉疴痼疾，絕非殺一兩個逆賊就能根除。
這一日，他收到楊一清從京城發出的最後一封密信。信中風燭殘年的老首輔筆迹顫抖，言詞懇切又充滿無奈：“慎之吾弟：東南已靖，海波暫平，汝之功業，彪炳史冊。然木秀于林，風必摧之。朝中攻讦日甚，陛下雖未明言，然聖心已疑。老夫病骨支離，恐不久于人世，再難護你周全。為汝計，為天下計，當思急流勇退之道。歸隐林泉，或可保全功名與家人，以待将來。切切！”
握着這封近乎遺言的信，許墨在書房中靜坐了一夜。窗外月色如水，映照着他複雜的面容。從青州那個欠債百萬的落魄縣丞，到位極人臣的兵部尚書、太子太保，一路走來，幾經生死，曆盡風波。他扳倒了貪官，剿滅了匪患，擊退了外侮，似乎做了很多，卻又感覺遠遠不夠。
天蒙蒙亮時，他做出了決定。
翌日，他上了一道言辭懇切、姿态極低的《乞骸骨疏》。奏疏中，他極力淡化自己的功勞，将東南平定歸功于“陛下天威”、“将士用命”，自稱“才疏學淺”、“體弱多病”，且“久離鄉土，思念親人”，懇請陛下準許他辭去本兼各職，告老還鄉，回青州頤養天年。
這道奏疏如同在沸騰的油鍋裡潑了一瓢冷水，瞬間在朝野引起軒然大波。
有人惋惜，認為國家失一棟梁；有人嘲諷，覺得他終究是怕了，識時務；但更多暗中忌憚他的人，則是大大松了一口氣，紛紛上表，稱贊許墨“知進退”、“明大義”，勸皇帝“成全民臣之心”。
病榻上的小皇帝看到奏疏，沉默良久。他雖對許墨有所猜忌，但也知此人能力超群，驟然離去，東南海防難免空虛。然而，朝中壓力巨大，加之他自身精力不濟，最終還是在司禮監拟好的準奏旨意上用了印。
聖旨抵達杭州時，許墨正與俞大猷、張屠戶等人巡視海防。
聽完聖旨，俞大猷虎目含淚，單膝跪地：“大人！何至于此！東南離不開您啊！”
張屠戶更是梗着脖子：“皇帝老兒糊塗！咱們找他說理去！”
許墨扶起俞大猷，拍了拍張屠戶的肩膀，平靜地笑了笑：“天下沒有不散的筵席。我意已決，不必多言。俞将軍，東南海防，日後就托付給你了。務必牢記，海疆之患，在于外，更在于内。強兵利器固不可少，但吏治清明、百姓富足，方是根本。”
他又看向張屠戶：“老張，你性子烈，以後要多聽俞将軍的。替我…看好這片海。”
二人知他去意已決，隻能重重點頭，心中充滿悲涼與不舍。
交割印信，處理完公務，許墨隻帶了少數親随和多年積累的書籍文稿，乘坐一艘普通的官船，沿運河北上，返回青州。
沒有盛大的送行儀式，隻有俞大猷、張屠戶等寥寥數人送至碼頭，一切從簡，如同他當年悄然赴任一般。