自康熙二十七年，山東巡撫張汧以賚銀赴京行賄事發，經審訊，涉及高土奇。高士奇即上疏︰「臣等編摩纂輯，惟在直廬。非進講，或數月不覲天顏，從未干涉政事……獨是供奉日久，嫌疑日滋。張汧無端疑怨，含沙污蔑……伏乞賜歸田里。」康熙心中十分明白，對自己這位沒有什麼實權的近臣來說，無雞焉能生蛋？無米豈可煮飯？貪贓枉法，賣官蠰爵這類事情真是無稽之談嘛，不過是聳人听聞罷了，但高士奇的疏言辭懇言衷，因此康熙同意高士奇解任且諭令勿滋蔓。康熙二十八年春，康熙又南巡時，解甲的高士奇仍為隨從。但九月，左都御史郭琇又嚴辭彈劾高士奇等人，說︰「高士奇、王鴻緒、陳允龍、何楷、王頊齡等豺狼其性，蛇蠍其心，鬼蜮其形，畏勢者既觀望而不敢言，趨勢者復擁戴而不肯言，臣若不言，有負聖恩……」在這樣慷慨激昂之辭言下，高士奇等人不得不思考何去何從。實際上高士奇明白，郭琇之所以彈劾王，何，陳和自己等人，就是為了爭權奪利，但在這個錯縱復雜的環境下，再加上太子與大阿哥黨的斗爭日趨激烈，木秀于林，風必吹之啊，王充用三十年心血寫成的《論衡》「累害第二」篇中指出的因嫉妒而生的毀謗，歸納為「三累」和「三害，」的，最終結論是「雖孔丘、墨翟不能自免，顏回、曾參不能全身。」的論著，難道不是給自己的一個警示嗎？雖然皇上還未對自己論罪，但自己是不是要激流勇退了呢？
這日，即會議上書房，商定高士奇引退的事。康熙穿了件石青江稠面兒的褂子，海龍緞台冠放在案上，一條烏油油的發辮打著明黃結垂下來，伸手從奏折中抽出一張，打開是高士奇休致回籍的折子，然後看著相伴自己多年的高士奇。
「江村，」康熙言下不勝感慨，撫膝沉默良久，方道︰「你非走不可麼？自朕繼位第八個年頭你入太學開始，跟著朕風風雨雨二十多年，就這樣棄朕而去了？你的那點子事，朕心里有數，何至于就無可挽留！言官那邊，朕自然會替你說話的。」
高士奇伏在上書房冰冷的青磚地上重重叩了二個頭，硬咽著回道︰「萬歲爺越是這樣說，臣越是無地自容。臣老矣，該從此退歸林下，謳歌聖朝，沐浴清化。讓位于新進國士，于萬歲爺。于臣，于國家社稷都有好處，寸心不敢有一毫欺隱。」
康熙看著高士奇，點頭嘆道︰「此話也是實情。既如此，朕南巡時，看平湖風俗敦樸，地僻事簡，無外物之擾，你可優游林野。朕賜一處宅子，你就入籍平湖，成平湖人吧。朕再南巡，君臣還能再見……」說著，豆大的淚珠已滾落下來。見他們如此淒情，旁邊肅立的大臣們也不覺拭淚。
「萬歲爺保重！」高士奇泣道，「臣在平湖朝夕尸視，願吾皇萬萬年！」說著便欲起身。
「不要急嘛，」康熙收淚笑道，「朕還有話吩咐︰要保重的是你，作息宴游要節勞，不要再管地方的事，看著他們哪里不對，寫折子給朕。你得罪了他們，在哪兒也住不安寧。朕已經命佟國維也進上書房辦事，還準備再物色兒個，這里的事也不須操心。你善自保養，活得長些，好些，給在朝的人做個榜樣！」說罷又叫，「李德全！」
「扎！」李德全一閃身進來答道。
「帶高士奇至文華殿賜宴！」康熙吩咐道，「朕還要寫詩送行，完了你回來拿——哦，對了，叫御膳房抄幾樣食膳譜給高士奇帶上，記住了？」
「扎！」李德全極精神地打了個千兒，回身攙起高士奇，一步一步去了。
看著一步步走出去的高士奇，康熙腦海中就浮現出他們君臣相處的點點滴滴︰當巡訪松亭、塞北、盛京、烏喇、浙江等地，總有高士奇相伴，猶記得高士奇還在松亭寫過這樣一首詩︰塞北松亭載筆頻，江南山左扈時巡，旨甘不缺慈幃奉，內顧無憂賴爾身。而當自己夜讀三更時，高士奇會請曰︰「聖躬過勞，宜少節奉。」自己答曰︰「朕自五齡受書；誦讀恆至夜今，樂此不為疲也!」……于是康熙拿起御案旁沾好墨的毛筆手書「竹窗」兩字準備賜高士奇。康熙身邊的首領內監李德全拿著康熙賜予高士奇的御書親自把高士奇送至苑門外。
京郊，齊世這會兒正在準備給休致去平湖的高士奇送行。高士奇看著雖然和自己相處不久，但是難得惺惺相惜的齊世，想一想說道︰「此時此地只你我二人，有些心里話想和你說一說。」
齊世詫異地看著高士奇，說道︰「您說，我洗耳恭听。」
「齊世老弟恕某狂妄了！」高士奇幽然一笑，說道，「不知你看當今是何等樣人主？」
「自然是明君！」齊世答道。
「豈止是明君！」高士奇笑道，「乃五百年一出之聖君！前頭的文武功業不說，即學問一道，能詩詞，會書畫，辨八音之律，通七種夷語，算術幾何登峰造極，自測黃白二道，精天文，明地理，撰數十篇學術文章，即醫理一道恐也不次于御醫們。我自認學有五車之富，無書不讀，敢問︰即主子不是皇帝，我也比得過他啊！望塵莫及，望塵莫及。」
齊世不禁連連點頭。
「惟因萬歲爺學問深博，所以有包容之量。」高士奇緩了口氣說道，「納蘭明珠瞧不透這個，所以膽敢在萬歲爺身邊攫權謀私，謀私犯的是人情，萬歲爺尚可容忍；攫權犯的是聖忌，那就非拿掉不可！你雖是納蘭明珠的女婿，幸沒往他圈子里跳，若真的依附了納蘭明珠，恐怕上次處置納蘭明珠時你也會倒霉的！」他抬眼看了看齊世，「萬歲爺賞識我敏捷詼諧，才華橫溢，我這次幸也算趨小禍避大禍，我覺得你以後不妨謹守‘萬言萬當，不如一默’，要知木秀于林，風必吹之！」
齊世望著遠去的馬車，細細品嚼著「萬言萬當，不如一默」這句格言，許久沒有說話。