前言

本書是北京市社會科學(xué)基金重點項目漢語中介語語料庫建設(shè)標準研究

(項目編號：15WYA017)的研究成果之一。

一、關(guān)于課題目標與書稿來源

1995年第一個漢語中介語語料庫漢語中介語語料庫系統(tǒng)建成以來，基于語料庫的偏誤分析、習(xí)得研究、中介語研究逐漸成為漢語國際教育研究中的重要內(nèi)容。21世紀初以來，漢語中介語語料庫在漢語國際教育與研究中的作用日益凸顯，其建設(shè)漸入高潮，成為語料庫研究中的熱點(譚曉平，2014),這也推動了國內(nèi)少數(shù)民族學(xué)生學(xué)習(xí)國家通用語言文字的中介語語料庫建設(shè)、漢族學(xué)生學(xué)習(xí)少數(shù)民族語言的中介語語料庫建設(shè)、聾生學(xué)習(xí)漢語書面語的中介語語料庫建設(shè)，以及國外的漢語中介語語料庫建設(shè)。同時，語料庫建設(shè)中還有許多問題，例如設(shè)計水平不高、規(guī)模不大、標注不全、功能不強、建成后不開放，以及存在水平重復(fù)等。而問題的癥結(jié)在于語料庫建設(shè)隨意，缺乏統(tǒng)一標準。

針對語料庫建設(shè)中存在的上述問題，我們提出了本項目，在北京市社會科學(xué)基金項目立項支持下，研制了《漢語中介語語料庫建設(shè)標準(草案)》(以下簡稱《建設(shè)標準》)。目的是克服語料庫建設(shè)中的隨意性，推動語料庫建設(shè)的規(guī)范化、標準化與科學(xué)化，提高語料庫建設(shè)水平，促進語料庫建設(shè)健康發(fā)展，使語料庫更地為漢語國際教育與研究服務(wù)，并為其他類型語料庫的建設(shè)提供參考與借鑒。

本項目在對國內(nèi)外多種類型的語料庫進行深入調(diào)查研究的基礎(chǔ)上，對漢語中介語語料庫(以下簡稱語料庫)的建設(shè)標準進行了較為全面、細致、深入的研究，在成功研制《建設(shè)標準》的同時，完成相關(guān)調(diào)查報告和研究論文百余篇，部分成果在國內(nèi)外多種學(xué)術(shù)刊物與論文集中發(fā)表，并在國內(nèi)外很多學(xué)術(shù)會議、學(xué)術(shù)講座上做了交流、報告和研討。我們認為這些報告與論文是我們在研制《建設(shè)標準》過程中，針對遇到的各種問題進行思考與探討的結(jié)果，體現(xiàn)了我們對相關(guān)問題的認識、觀點與主張，對認識語料庫建設(shè)標準問題具有啟發(fā)和參考作用，因此將其擇要整理成書，以就教于專家學(xué)者和廣大讀者。

二、關(guān)于調(diào)查研究的成果與意義

對語料庫建設(shè)與使用情況進行全面、具體、深入的調(diào)查研究是掌握語料庫相關(guān)情況的基本環(huán)節(jié)，更是制定建設(shè)標準的重要前提。因此，本項目先后組織十余名成員，主要通過文獻研究、語料庫實地考察(上網(wǎng)查詢?yōu)g覽)、用戶反饋、座談、訪談、學(xué)術(shù)會議等方式進行調(diào)研，比較全面地掌握了國內(nèi)外多種類型的語料庫的相關(guān)情況，為《建設(shè)標準》的研制奠定了堅實基礎(chǔ)。

調(diào)研范圍包括國內(nèi)外的漢語中介語語料庫、國內(nèi)外的英語學(xué)習(xí)者語料庫、國內(nèi)漢語母語語料庫、國外母語語料庫(含美國英語語料庫、英國英語語料庫、俄羅斯俄語語料庫以及其他國家的一些語料庫^①)、國內(nèi)少數(shù)民族母語語料庫、國內(nèi)外口語語料庫、多模態(tài)語料庫等多種類型的語料庫。

調(diào)研從10個方面展開：(1)語料庫一般情況，包括名稱、建設(shè)單位、網(wǎng)址、開放與否及程度；(2)建庫目的與實現(xiàn)方法；(3)語料的內(nèi)容、分類與規(guī)模；(4)語料采集方法；(5)語料標注的內(nèi)容與方法；(6)語料元信息(背景信息);(7)語料統(tǒng)計信息；(8)語料的檢索與下載；(9)語料庫的更新與維護；(10)認識與啟示。考察較為全面、細致、系統(tǒng)、深入，了解了相關(guān)情況，總結(jié)了建設(shè)成果，指出了存在的問題，具有一定的認識價值。

調(diào)研取得了如下重要成果：

1.了解了語料庫的基本組成部分、語料庫建設(shè)的主要環(huán)節(jié)和完整過程。這對語料庫建設(shè)的總體設(shè)計和流程標準的研制具有重要的參考價值。

2.理清了國內(nèi)外語料庫建設(shè)中的主要問題以及學(xué)界的討論與不同觀點，例如語料的平衡性，語料標注的全面性，漢語中介語語料庫建設(shè)缺乏自己的分詞、詞性標注規(guī)范與專用詞表，語料庫檢索功能的現(xiàn)狀與不足，語料呈現(xiàn)、下載與保存的便捷性，口語語料的轉(zhuǎn)寫困境，口語語料庫建設(shè)的滯后性，語料庫的開放與資源共享，等等。學(xué)界對上述一些問題的理解、認識與觀點并不一致，有的甚至相反。這些情況引起我們對相關(guān)問題的重視，并使得我們在制定標準的過程中抱著謹慎的態(tài)度進行全面、細致、深入的思考與研究，盡最大努力使標準的制定做到科學(xué)、嚴謹、合理、可行。

3.一些語料庫的建設(shè)理念與認識主張非常有借鑒價值。例如，俄語國家語料庫在語料標注問題上所主張的不替用戶做判斷的理念為我們在建庫實踐中已經(jīng)逐漸形成的淺層標注的認識與主張?zhí)峁┝伺宰C。

4.指出了國內(nèi)漢語中介語語料庫語料呈現(xiàn)方式存在的問題。例如：(1)檢索界面雖能滿足用戶的基本需求，但或是檢索結(jié)果不能批量下載與保存，或是用戶對標注內(nèi)容的顯示與否和顯示數(shù)量沒有自主選擇權(quán)，抑或是界面設(shè)計得不便于用戶閱讀；(2)原始語料不便于查看，甚至不能查看；(3)語料相關(guān)信息中只有學(xué)生的國籍信息，沒有母語信息；等等。這些發(fā)現(xiàn)及在此基礎(chǔ)上提出的改進建議對語料呈現(xiàn)標準的確定具有重要的啟發(fā)意義。

5.用戶在使用語料庫基礎(chǔ)上提出的反饋意見與要求更是給了我們直接的啟示，在建庫實踐中必須予以滿足，在語料庫建設(shè)標準中也必須加以體現(xiàn)。例如：(1)語料的背景信息應(yīng)能檢索并與語料一起呈現(xiàn)，且能和語料一起下載；(2)HSK動態(tài)作文語料庫無語體、辭格等層面的標注，不能查詢語體、辭格的使用情況；(3)檢索功能薄弱，不能按詞性查詢，不能查特定句式與重疊結(jié)構(gòu)，不能做對比檢索；等等。用戶的這些意見與要求不僅推動了語料庫建設(shè)的進步，也豐富了建設(shè)標準的研究內(nèi)容。

三、關(guān)于《建設(shè)標準》的內(nèi)容與特點

(一)《建設(shè)標準》的內(nèi)容

課題組通過調(diào)查研究、問題研討、理論研究、實踐檢驗、論文撰寫等多方面的研究工作，最終成功研制了《建設(shè)標準》,包括語料庫建設(shè)流程標準、語料采集標準、語料背景信息采集標準、筆語語料錄入標準、口語和視頻語料轉(zhuǎn)寫標準、語料標注標準、語料呈現(xiàn)標準、語料庫軟件系統(tǒng)研發(fā)標準、語料庫建設(shè)質(zhì)量標準、語料庫使用標準。其中吸取了語料庫建設(shè)實踐中的諸多成功經(jīng)驗，也包括一些新的研究成果。

(二)《建設(shè)標準》體現(xiàn)了語料庫建設(shè)的先進理念

1.服務(wù)理念，即《建設(shè)標準》的研究要為漢語中介語語料庫建設(shè)服務(wù)，為漢語國際教育與研究服務(wù)。例如：語料庫建設(shè)流程標準規(guī)定了語料庫建設(shè)的必有環(huán)節(jié)與先后順序，建庫者可以按部就班地進行語料庫建設(shè)，而無須從頭摸索，甚至重復(fù)前人已經(jīng)走過的彎路，從而克服建庫中的隨意性與低水平重復(fù)，推動、促進語料庫建設(shè)的科學(xué)化與規(guī)范化；為了使廣大用戶能夠方便快捷地檢索到教學(xué)與研究所需要的語料，語料庫軟件系統(tǒng)研發(fā)標準提供了9種檢索方式，便于用戶從多種角度進行語料查詢。

2.前瞻性，即《建設(shè)標準》對建庫實踐具有引領(lǐng)作用。《建設(shè)標準》的研制既要總結(jié)并汲取以往語料庫建設(shè)的成功經(jīng)驗與失敗教訓(xùn)，更要發(fā)現(xiàn)規(guī)律，預(yù)測發(fā)展趨勢，從而發(fā)揮引領(lǐng)作用，對建庫工作給予切實有效的指導(dǎo)。例如標注內(nèi)容，從為教學(xué)與研究服務(wù)的理念出發(fā)，教學(xué)與研究需要什么,就應(yīng)該標什么,否則就無法為教學(xué)與研究服務(wù)。而有的學(xué)者根據(jù)國外的學(xué)術(shù)觀點認為偏誤標注所依賴的某些分析理論并不成熟，而沒有較為成熟的理論支持，就很難制定出針對某些現(xiàn)象的完善的標注規(guī)范，進而提出：對于剛起步不久的漢語中介語語料庫來說，可以先做好漢字、詞匯和語法的基本的正確和偏誤信息的標注，待相關(guān)的理論和實踐研究比較成熟之后，再進行其他層面的標注。我們認為這種消極等待、無所作為的觀點完全不顧漢語國際教育與研究的實際需求，顛倒了理論與實踐的相互關(guān)系，放棄了我國學(xué)者應(yīng)負的責(zé)任，違背了實踐、創(chuàng)新的科學(xué)精神，這樣是不可能帶來我國語料庫建設(shè)理論與實踐的進步的。因此，我們在語料庫建設(shè)實踐取得成功經(jīng)驗的基礎(chǔ)上，在《建設(shè)標準》中加入了全面標注的原則。我們還引入了語料庫建設(shè)2.0的理念，認為語料庫建設(shè)已進入2.0時代，語料庫應(yīng)具備精細而豐富的特征。精細是指語料庫整體設(shè)計周密，軟件系統(tǒng)制作精良，用戶使用方便；豐富則指語料庫的功能多樣，能夠滿足教學(xué)與相關(guān)研究的多方面需求。這些都體現(xiàn)了《建設(shè)標準》的前瞻性與先進性。

3.廣泛性，即《建設(shè)標準》涉及面廣、適應(yīng)性強�！督ㄔO(shè)標準》不僅適用于筆語語料庫，也適用于口語語料庫、多模態(tài)語料庫，說明漢語中介語語料庫建設(shè)不僅重視書面形式的語言運用，也非常重視口語形式的語言表達和口語表達中的體態(tài)語。

4.實事求是的平衡性。語料的平衡性是語料庫建設(shè)中一個非常重要的問題，也是一個尚未徹底解決的問題。由于語料的真實性要求和必bei的背景信息的要求，獲取符合條件的語料本身就頗具難度。以學(xué)習(xí)者的國籍分布而言，想要達到絕對的、理想化的平衡既不現(xiàn)實，也不符合漢語國際教育的實際情況。因此，應(yīng)采取實事求是的態(tài)度，根據(jù)不同國家和地區(qū)的學(xué)習(xí)者的實際分布情況，運用分層抽樣的方法解決平衡性問題。

5.標注模式。如果說語料采集是建庫的基礎(chǔ)或前提，標注就是決定語料庫功能和使用價值的關(guān)鍵。為了能對學(xué)習(xí)者的語言表現(xiàn)進行全面、準確的了解和把握，《建設(shè)標準》采納了偏誤標注 基礎(chǔ)標注的模式，既標注學(xué)習(xí)者的偏誤，又標注其正確的語言表現(xiàn)，以在滿足偏誤分析需要的基礎(chǔ)上，進一步滿足表現(xiàn)分析(或稱語言運用分析)的需要，進而提高漢語習(xí)得研究和中介語分析的水平。

6.眾包維護。用戶在使用語料庫時，如果發(fā)現(xiàn)錄入、轉(zhuǎn)寫、標注等方面的錯誤，不僅可以通過反饋留言的方式告知管理人員，還可以點擊有錯誤的地方，在彈出的對話框中直接進行修改并提交，經(jīng)管理員確認通過后即可替代原來的語料與標注。這樣，用戶不僅是語料庫的使用者，也是其檢驗者和維護者。語料庫的檢查、修改、維護從少數(shù)建庫人員和管理人員有限的定期檢查變成了眾多用戶參與的長期過程，這種靠眾人之力、集眾人之智的維護方式非常有利于語料庫質(zhì)量的不斷提升。

7.實踐檢驗，即準備作為建設(shè)標準的認識與做法要經(jīng)過建庫實踐的檢驗，證明其有效并可行之后，才納入《建設(shè)標準》。在《建設(shè)標準》的研制過程中，我們利用建設(shè)全球漢語中介語語料庫和開發(fā)HSK動態(tài)作文語料庫(2.0版)的機會，把通過研究得出的一些認識與做法在建庫實踐中進行了檢驗，可行的予以保留，有問題的加以改進，不可行的則堅決舍棄。經(jīng)過從認識到實踐，再從實踐到認識的反復(fù)探索，我們的認識與研究結(jié)論具有了較高的科學(xué)性與可行性。例如：我們在實踐中驗證了全面標注的主張；舍棄了同版標注，采用了分版標注的做法；證明了對部分標注內(nèi)容進行自動標注的可行性。

8.資源共享的途徑。目前，除少數(shù)幾個漢語中介語語料庫外，大部分中介語語料庫都不對外開放①。這既造成了人力、物力、財力的浪費，也是語料庫建設(shè)存在低水平重復(fù)問題的重要原因之一。語料庫是工具，使用的人越多，其價值越高；基于某語料庫產(chǎn)出的研究成果越多，則該語料庫發(fā)揮的作用越大。語料庫是天下學(xué)術(shù)公器，本來就應(yīng)該開放給天下人使用，為漢語國際教育與研究服務(wù)。因此《建設(shè)標準》明確提出：凡使用政府各級各類科研經(jīng)費建設(shè)的語料庫如不存在涉密問題，建成上線后，必須向?qū)W界、社會乃至所有用戶免費開放，供各界用戶使用，同時也應(yīng)保護好建庫者的知識產(chǎn)權(quán)與語料作者的個人信息。HSK動態(tài)作文語料庫和全球漢語中介語語料庫建成后，我們立即向國內(nèi)外學(xué)界和全社會免費開放，已落實我們所倡導(dǎo)的為漢語國際教育與研究服務(wù)的宗旨。我們也曾多次呼吁語料庫建設(shè)者們開放語料庫，但響應(yīng)者寥寥。我們強烈建議各級科研管理部門把語料庫免費開放作為項目中檢和結(jié)項的必bei條件。相較于學(xué)者們的宣傳呼吁，這樣一條管理措施具有很大的權(quán)威性，將會徹底改變語料庫不開放的現(xiàn)狀，真正實現(xiàn)語料資源的充分共享。

(三)《建設(shè)標準》吸取了語料庫建設(shè)中的新鮮經(jīng)驗，提出了一些新的觀點和做法

1.提出了漢語中介語語料庫建設(shè)標準的基本框架，即與語料庫建設(shè)密切相關(guān)的10個方面的規(guī)范：語料庫建設(shè)流程標準、語料采集標準、語料背景信息采集標準、筆語語料錄入標準、口語和視頻語料轉(zhuǎn)寫標準、語料標注標準、語料呈現(xiàn)標準、語料庫軟件系統(tǒng)研發(fā)標準、語料庫建設(shè)質(zhì)量標準、語料庫使用標準。

2.制定了漢語中介語語料庫建設(shè)的標準流程：(1)提出建庫任務(wù)，進行總體設(shè)計；(2)組建研究與開發(fā)團隊；(3)語料采集與整理；(4)語料相關(guān)背景信息采集與整理；(5)語料錄入、轉(zhuǎn)寫與校對；(6)制定標注規(guī)范與實施語料標注；(7)開發(fā)人工輔助標注工具；(8)數(shù)據(jù)統(tǒng)計與表格編制；(9)開發(fā)語料庫管理系統(tǒng)與檢索系統(tǒng)；(10)語料庫集成、上網(wǎng)與調(diào)試；(11)語料庫發(fā)布與開放；(12)語料庫運行與維護。

3.選擇、規(guī)定了適宜的口語語料轉(zhuǎn)寫方式，解決了口語語料的轉(zhuǎn)寫難題�？谡Z語料庫建設(shè)很少，嚴重滯后于筆語語料庫建設(shè)，制約著漢語口語中介語的研究和不同語體漢語中介語的對比研究，而重要原因之一就是口語語料轉(zhuǎn)寫困難。我們在標準研究和建庫實踐中發(fā)現(xiàn)，在線轉(zhuǎn)寫平臺訊飛聽見提供了轉(zhuǎn)寫質(zhì)量好且經(jīng)濟實惠、完全具備實用價值的轉(zhuǎn)寫服務(wù)，可以大大減輕人工轉(zhuǎn)寫的繁難程度。雖然機器的語音識別結(jié)果會有一些問題，需要一定程度的人工審核與修改，但仍足以打破口語語料庫建設(shè)的瓶頸。

4.提出了漢語中介語語料標注的總原則科學(xué)性，其含義是：(1)問題導(dǎo)向，需求驅(qū)動；(2)實事求是，嚴守規(guī)范；(3)積極探索，勇于實踐。具體原則包括：(1)全面性；(2)準確性；(3)系統(tǒng)性；(4)規(guī)范性；(5)有限性；(6)簡潔性；(7)開放性；(8)通用性；(9)自動化；(10)漸進性。

5.規(guī)定了偏誤標注 基礎(chǔ)標注的標注模式，闡釋并驗證了全面標注、分版標注、自動標注的必要性與可行性。

6.實時統(tǒng)計。以往語料庫建設(shè)中采用的統(tǒng)計方法都是語料標注完成后進行靜態(tài)統(tǒng)計，這對百萬字級的較小的語料庫來說并無不妥。但對需要邊建設(shè)、邊開放的大型語料庫來說，靜態(tài)統(tǒng)計是無法隨時更新數(shù)據(jù)的。而實時的動態(tài)統(tǒng)計意味著隨著語料規(guī)模的不斷增長與各項標注內(nèi)容標注量的不斷增加，總字數(shù)與總詞數(shù)、已標注字數(shù)與詞數(shù)、未標注字數(shù)與詞數(shù)、語料的題目數(shù)、語料總篇數(shù)、不同國家學(xué)習(xí)者的語料篇數(shù)等統(tǒng)計數(shù)據(jù)都會發(fā)生變化，用戶可以隨時掌握這些數(shù)據(jù)，作為教學(xué)與研究的參考。實時統(tǒng)計代表了2.0時代語料庫在數(shù)據(jù)統(tǒng)計方面的發(fā)展方向，因而《建設(shè)標準》收入了這一方法。

7.研發(fā)了9種檢索方式。目前絕大多數(shù)語料庫以字符串一般檢索和分類標注檢索為基本檢索方式，前者可以按照具體的字、詞、短語、句子進行檢索，后者可以查詢標注過的內(nèi)容。其局限性在于檢索功能薄弱，語料庫中某些中介語現(xiàn)象實際存在卻無法檢索。為此，我們在建庫實踐中研發(fā)了特定條件檢索、詞語搭配檢索、按詞性檢索、詞語對比檢索、離合詞檢索、重疊結(jié)構(gòu)檢索、按句末標點檢索等7種新的檢索方式，并將其加入《建設(shè)標準》,為用戶提供了多種角度的檢索方式，可以檢索出更多的中介語現(xiàn)象，從而增強了語料庫的功能與使用價值，可以更好地發(fā)揮語料的作用。

8.自動化，指部分內(nèi)容標注和建設(shè)流程的自動化�！督ㄔO(shè)標準》吸收了已達到實用水平的自動分詞和詞性標注，也收入了準確無誤的繁體字、異體字的自動標注，以及具有一定使用價值的詞語層面和某些語體色彩分明的句式層面的語體自動標注。漢語中介語語料庫建設(shè)與應(yīng)用綜合平臺集語料的上傳與審核、錄入轉(zhuǎn)寫與審核、標注與審核、統(tǒng)計、入庫等環(huán)節(jié)于一體，不但在一定程度上實現(xiàn)了語料庫建設(shè)的自動化，而且在很大程度上實現(xiàn)了語料庫建設(shè)的標準化，提升了語料庫建設(shè)的效率與水平。因此，《建設(shè)標準》也吸納了這些做法。

上述研究成果均在本書中進行了闡釋與論證，體現(xiàn)了《建設(shè)標準》的研制過程。

四、關(guān)于本書的內(nèi)容安排與作者

本書由總論、調(diào)研報告、標準研究三部分組成，共計24章�？傉�2章，集中討論語料庫建設(shè)的各方面問題，從整體上闡釋對建設(shè)標準的認識和觀點。調(diào)研報告8章，從地域與國家(國內(nèi)外，美、英、俄等國家)和語料庫類型與語種(中介語語料庫、母語語料庫，漢語語料庫、英語語料庫、俄語語料庫等)兩個維度調(diào)查、分析現(xiàn)有各類語料庫的建設(shè)與使用情況，為標準研究奠定基礎(chǔ)。標準研究14章，從語料庫建設(shè)流程、語料采集、語料錄寫、語料標注、語料檢索、語料庫軟件研發(fā)、語料庫應(yīng)用等方面探討建設(shè)標準問題，提出了語料庫建設(shè)各個方面的標準。本書附錄系《建設(shè)標準》草案稿，供專家學(xué)者和廣大讀者參考、批評、指正。

本書作者為北京語言大學(xué)語言科學(xué)院、漢語國際教育研究院的部分教師、碩

士研究生和博士研究生，以及部分外校教師。分工如下：

張寶林，第一章(合著)、第二章、第十一章(合著)、第十三章、第二十一章、第二十二章、第二十四章及前言、附錄、后記；

崔希亮，第一章(合著);

李紅梅，第三章、第二十章；

邢曉青，第四章；

靳繼君，第五章；

張敏，第六章；

許家金，第七章；

陳麗華，第八章(合著)、第九章(合著);

王美云，第八章(合著)、第九章(合著);

高璇，第八章(合著)、第九章(合著);

溫曉潔，第八章(合著);

段海于，第八章(合著)、第十四章；

文雁，第十章、第十一章(合著);

段清釩，第十一章(合著)、第十二章(合著)、第十五章(合著);

楊星星，第十二章(合著);

齊菲，第十五章(合著);

張馨丹，第十五章(合著);

劉運同，第十六章；

張蕾，第十七章(合著);

楊帆，第十七章(合著);

梁丁一，第十八章；

閆慧慧，第十九章；

閆培，第二十三章。

五、我們的期待

為漢語中介語語料庫建設(shè)研制標準尚屬首次，我們有幸提出并承擔(dān)這項十分重要的任務(wù)，并最終完成了任務(wù)。同時，我們深知：這項任務(wù)是十分艱難的，標準的研究并非一蹴而就，更非一勞永逸，我們研制的《建設(shè)標準》必定還有很多缺點和不足。我們會繼續(xù)關(guān)注國內(nèi)外語料庫語言學(xué)的發(fā)展，關(guān)注學(xué)界在建庫實踐中取得的新成果，并在今后的建庫實踐與應(yīng)用研究中不斷發(fā)現(xiàn)新問題，克服新困難，積累新經(jīng)驗，進行深入研究，在新的認識的基礎(chǔ)上，修訂與改進該標準，使其不斷完善，更好地為語料庫建設(shè)提供指導(dǎo)與幫助，促進語料庫的建設(shè)與應(yīng)用研究。

我們衷心期待各位專家學(xué)者、廣大用戶與讀者不吝賜教!

張寶林

2022年6月21日