作者：劉石（國家社科基金重大項目“基于大數(shù)據(jù)技術(shù)的古代文學(xué)經(jīng)典文本分析與研究”首席專家、清華大學(xué)教授），尹小林（首都師范大學(xué)中國詩歌研究中心專職研究員）

　　大數(shù)據(jù)及其相應(yīng)技術(shù)已經(jīng)對社會知識體系及思維方式產(chǎn)生重大影響?；谶@一技術(shù)對古代文學(xué)經(jīng)典文本進行深度而高效的分析，可使文學(xué)研究進入更宏觀的視野，提高研究結(jié)論的精準(zhǔn)性、穩(wěn)定性及可驗證性，促生新的研究理念、方法與范式。信息革命以來，古籍文獻(xiàn)數(shù)據(jù)化積累和知識庫建設(shè)卓有成效。浩如煙海的古籍，可以組成大小不等的任意文本集合，具有不同維度的數(shù)據(jù)特征。對它們進行基于字詞、語句、篇體等方面的統(tǒng)計，可以獲得不同于紙本閱讀的認(rèn)知。

　　對古籍進行散點透視

　　谷歌與哈佛大學(xué)利用其共同開發(fā)的數(shù)據(jù)庫對公元1800—2000年出版的近520萬冊書籍的單詞和短語的使用頻率進行統(tǒng)計，任意詞或詞組在過去數(shù)百年典籍中的出現(xiàn)頻率與變化趨勢得以清晰呈現(xiàn)。這一詞頻統(tǒng)計器廣泛應(yīng)用于如探索名物的興衰沿革、話題的熱度變化、人物或群體的影響力等研究。

　　同樣，大數(shù)據(jù)時代下新的技術(shù)和研究思路為彌補紙質(zhì)古籍在結(jié)構(gòu)化整理、大量資料匯聚排列、關(guān)系立體化勾連呈現(xiàn)等方面的不足提供了可能性。我們利用《國學(xué)寶典》數(shù)據(jù)庫收錄的超一萬種逾22億字的歷代古籍精良數(shù)據(jù)，在其中篩選出最為核心的經(jīng)典近百部，對其從用字量、用字比（TTR_H）、字頻等不同角度進行統(tǒng)計，將時代與文體來源廣泛的文獻(xiàn)以前人不曾設(shè)想過的方式進行關(guān)聯(lián)比較，獲得了一系列涉及漢語史、文體學(xué)、知識考古學(xué)、蒙學(xué)研究、近代文白轉(zhuǎn)型等眾多領(lǐng)域與交叉學(xué)科的重大命題與發(fā)現(xiàn)，是“數(shù)字映射經(jīng)典，技術(shù)更新人文”的有效例證。

　　縱向概覽從先秦到清代典籍?dāng)?shù)據(jù)，首先可以關(guān)注到的是單部經(jīng)典總字?jǐn)?shù)和用字量的漸增趨勢。顯然，前者與文獻(xiàn)的物質(zhì)形態(tài)的變化發(fā)展直接相關(guān)，后者除了受中古漢語雙音化等自身發(fā)展因素的影響之外，同樣與漢代至中古以來總體書籍量的增長及社會的知識好尚有關(guān)。用字量排名靠前的首先是知識性工具書與承擔(dān)識字教材功能的蒙學(xué)讀本，如《爾雅》（3360字）、《水經(jīng)注》（4490字）、《古文觀止》（3863字）等。漢代以降，士人逐漸重視學(xué)術(shù)與社會觀點的積累以及人生精華的總結(jié)，故而其著述常有豐厚淵博的知識性特質(zhì)?！熬刻烊酥H，通古今之變”的《史記》與“言其大也，則燾天載地；說其細(xì)也，則淪于無垠”的《淮南子》用字量分別為4730字與3900字，在參與統(tǒng)計的上古至中古文獻(xiàn)中十分突出，已可與明清長篇章回體小說作品比肩（四大名著和《聊齋志異》用字量在3931~4936字之間）。

　　僅依靠數(shù)據(jù)自身不能完成“智慧型”轉(zhuǎn)化，比數(shù)據(jù)更重要的是闡釋數(shù)據(jù)的方式。除了將統(tǒng)計分析與經(jīng)典論題相關(guān)聯(lián)，數(shù)據(jù)的切分與聚類也是至關(guān)重要的基礎(chǔ)環(huán)節(jié)。一項經(jīng)典研究案例是，將《紅樓夢》以四十回為單位進行文本切分，最后一部分在用字量方面的顯著不同剛好佐證關(guān)于作者的疑問。然而，以用字量直接衡量作品質(zhì)量或閱讀難度又會墮入機械的統(tǒng)計分析思維。例如統(tǒng)計中居首的幾部小說文獻(xiàn)，其體量大、涉及內(nèi)容廣、雅俗語體并包等因素共同提升了用字量。同樣，受常用漢字總量限制，文獻(xiàn)篇幅的增加反而會導(dǎo)致用字比下降。故而統(tǒng)計中引入計算語言學(xué)常用的TTR_H模型以修正用字比，最終結(jié)果顯示，用字比最高者皆為蒙學(xué)讀本：《千字文》（1）、《百家姓》（0.986）、《三字經(jīng)》（0.894）、《聲律啟蒙》（0.857）。可見，編著者有意識地在有限的篇幅和內(nèi)容難度中增加用字量，讓學(xué)童能比較密集地習(xí)得盡可能多的漢字。蒙學(xué)讀物的編纂者選字標(biāo)準(zhǔn)是什么，是當(dāng)時常見經(jīng)典文獻(xiàn)中的高頻字，還是日常生活中的常用字，還是有別的標(biāo)準(zhǔn)？這種選擇是以何種方式完成的？這些都是值得進一步探究的話題。

　　從用字特征探測經(jīng)典命題

　　字頻統(tǒng)計中，考慮到虛字和實字的不同屬性和闡釋功能，二者通常被分別計算。虛詞在漢語史等領(lǐng)域的研究中經(jīng)常被作為特征數(shù)據(jù)使用，同時也是作品風(fēng)格比對的標(biāo)志性參數(shù)，虛詞的使用比重本身便構(gòu)成不同作者間的風(fēng)格標(biāo)識。“五經(jīng)”之中，參照后世“文筆之辨”，《詩》為有韻之文，因而與其他幾部書相比，高頻詞中實詞比重更大，古人“實字多則健，虛字多則弱”的詩論觀點或濫觴于此。以高頻字的虛實映射“文筆之辨”的方法可推及后世，普遍而言，在詩歌與詞曲等文體中，實詞作為高頻詞的概率大于散文文體。

　　作為“五經(jīng)”中成書年代最早的《尚書》，其虛字運用特征同樣保存了上古漢語的流變痕跡?！渡袝分蓄l次居首者是極具上古色彩的虛詞“惟”，這不僅與其中許多篇目的記言性質(zhì)有關(guān)，也體現(xiàn)了早期漢語與后來“之乎者也于”時代的分野。以相同視角觀照近古作品，可以窺見漢語史上的另一重大變革。對話是小說中的重要元素，表達(dá)說話行為的動詞自然享有高頻地位，在《三國演義》與《聊齋》中體現(xiàn)為“曰”，而《西游記》和《水滸傳》中則體現(xiàn)為“道”，這是后一組作品文言色彩減弱的重要標(biāo)志。而真正的白話轉(zhuǎn)型發(fā)生在《紅樓夢》身上，“的”首次取代語法功能相同的“之”而上榜，成為第二高頻詞?！都t樓夢》中居首的高頻詞是另一個極具白話特征的虛詞“了”，這也是《水滸傳》中的第一高頻詞。

　　與虛詞相反相成的實詞是文獻(xiàn)內(nèi)容和主題的映射，其背后涉及反映觀念史演變的重大命題。同樣以“五經(jīng)”為例，《詩》《書》《禮》《易》《春秋》中的第一高頻實詞分別為“我”“王”“人”“象”“子”?！对娊?jīng)》具有最強的主體抒情色彩，恰如《毛詩序》所謂“以一國之事，系一人之本”?！渡袝窞樯瞎湃弁醯?、謨、訓(xùn)、誥、誓、命等文獻(xiàn)記載，以記錄“王”之言行為核心?？鬃右浴翱思簭?fù)禮”來約束人，“禮”是人內(nèi)在品質(zhì)的外化，因此談“禮”不基于人則會失去根基?！跋蟆弊鳛椤吨芤住返慕庾x對象是不言自明的。“古者庖犧氏之王天下也，仰則觀象于天，俯則觀法于地，觀鳥獸之文與地之宜，近取諸身，遠(yuǎn)取諸物，于是始作《易》八卦，以垂憲象。”《說文解字序》中的這段話，說明“象”不僅是《周易》的關(guān)鍵，也是漢字造字觀念及中華文化思維的體現(xiàn)?！洞呵镒髠鳌分惺孜桓哳l字為“子”，其中包含第二人稱單數(shù)與諸侯國君稱謂雙重意義。后者是《春秋》敘事的核心所在，孔子作《春秋》，正是為了以微言大義記錄“禮樂征伐自諸侯出”的非常時代，作為編年體史書，各諸侯國君臣的秩序與道德選擇構(gòu)成了其潛在的緯線。

　　用數(shù)據(jù)來表征“詩分唐宋”

　　錢鐘書《談藝錄》以“詩分唐宋”開篇，影響甚廣。此說實承續(xù)前人而來，宋代嚴(yán)羽論詩便有“本朝人尚理，唐人尚意興”之說。唐宋詩之別在于體格性分，相對較為玄妙。通過量化分析，可對其語言層面的特征作出細(xì)致把握。通過對《全唐詩》五萬七千余首和《全宋詩》二十五萬四千余首的詞頻統(tǒng)計顯示，居于前十位的高頻詞分別為：不知、何處、萬里、千里、不見、不可、白云、今日、春風(fēng)、不得（《全唐詩》）；不知、春風(fēng)、平生、不可、萬里、千里、人間、不見、十年、何處（《全宋詩》。下文中詞頻位序?qū)⒃诶ㄌ栔凶⒊?，故不再一一說明）。

　　將統(tǒng)計擴展至前一百位，有關(guān)唐宋詩風(fēng)之辨的許多命題都能夠在語詞的褶皺中被展開。作為嚴(yán)羽論斷的例證，在前一百位中，唐詩里比興尚意的寫景語匯更居前列，如排名第7的“白云”與第11的“明月”，雖只是詞匯片段，唐人氣象儼若可見。作為參照，這兩個意象在《全宋詩》詞頻統(tǒng)計中分別降至19與23位。嚴(yán)羽“本朝尚理”的觀點同樣能在統(tǒng)計數(shù)據(jù)中獲得佐證：宋詩中“平生”（第3位）、“人間”（第8位）等哲思人生的“理語”排位較唐代（分別居于第30、13位）又有上升。另一點值得玩味的是，宋人雖崇尚自守慎獨、內(nèi)求于心的理學(xué)，詩中卻不乏唐人所極少寫到的“功名”（36）、“富貴”（78），而唐詩中常見的“惆悵”（15）、“相思”（22）等與“理語”相對的“情語”在宋詩詞頻列表中跌出了前一百位。

　　唐詩偏重空間，而宋詩偏重時間。敻絕的宇宙意識和無垠的空間，從《全唐詩》詞頻前五位中（不知、何處、萬里、千里、不見）可見一斑。日本漢學(xué)家吉川幸次郎曾提出，唐詩是凝視著人生貴重瞬間的燃燒，所注視的只是對象的頂點。而宋詩是時間性的，詩人視人生為漫長的持續(xù)。以語詞的統(tǒng)計來衡量這一觀點，唐詩排序最高的時間詞是“今日”（8），時空與情感凝注于此一點，而宋詩中居首的是“十年”（9），繼而是“今日”（12）與“百年”（20）。吉川將“燃燒與持續(xù)”的說法推進至意象選用的對比方面，夕陽是燃燒的景象，雨是持續(xù)的景象，于是有了“唐人寫夕陽宋人寫雨”的經(jīng)典論斷。詞頻統(tǒng)計恰也驗證了這點，《全唐詩》詞頻居于前列的“落日”（55）、“日暮”（59）、“夕陽”（69），在宋詩中都排在九十位之后。

　　不同于信息爆炸的現(xiàn)代，傳世文獻(xiàn)中的經(jīng)典文本邊界是相對清晰的，然而其體量對于專注于某一選題或領(lǐng)域的研究者依然難以全體掌握?；诖髷?shù)據(jù)技術(shù)的古代文學(xué)經(jīng)典文本分析，既著眼于經(jīng)典文獻(xiàn)，又以海量的基礎(chǔ)文獻(xiàn)為基礎(chǔ)，希望在較短時間內(nèi)用高效、全面的數(shù)據(jù)挖掘，來進行準(zhǔn)確有效的文本分析。傳統(tǒng)古典學(xué)研究中的結(jié)論多通過個人有限閱讀過程中的觀察、思索、領(lǐng)悟等方式獲得，這類方式往往具備一定的主觀性乃至先驗色彩。大數(shù)據(jù)的匯聚和計算分析方法的運用，能夠使既出人意表又允執(zhí)厥中的結(jié)論“自動涌現(xiàn)”。

　　利用大數(shù)據(jù)將以往被分裂和隔絕的事物重新連接，改變了我們對文獻(xiàn)、文本、知識的認(rèn)識路徑和把握尺度。僅從字/詞頻統(tǒng)計這一大數(shù)據(jù)手段的微小切面入手，我們便已初步獲得了以一種新方式探測經(jīng)史、語言學(xué)、文學(xué)等領(lǐng)域文獻(xiàn)的體驗。與用不同技術(shù)手段、不同結(jié)構(gòu)化方式、不同顆粒度重構(gòu)的集成式文獻(xiàn)知識庫相比，以上工作或許只是一份小嘗試。相信隨著統(tǒng)計數(shù)據(jù)的累積、疊加和映射，古籍和傳統(tǒng)文化研究一定能夠煥發(fā)出更多生機和活力。