-
Notifications
You must be signed in to change notification settings - Fork 971
由於種種歷史問題，漢字系統被割裂爲「簡化字」和「繁體字」，然而「簡化字」並不能完全取代原有的繁體字，一方面是由於古籍、書法、文字學的研究需要，另一方面則是港澳臺日韓越及其他海外地區「簡化字」並不通行。隨着信息技術的發展，這方面的需求不斷突出，因此簡繁轉換便成了一個信息技術界和中文研究界需要共同解決的問題。
精確的簡繁轉換一直以來是一個難題，其原因主要是簡體和繁體互有一對多的現象，而具體用字對應規則需要聯繫上下文分析語義纔能確定。而廣義的「簡繁轉換」，還包括了不同地域習慣用字和用詞差異的轉換（如「软件」「軟體」等），甚至詞和詞之間也有「一對多」的關係，因而使轉換更加複雜。簡繁轉換軟件，即使是專業的，也不能完全解決這些問題，在開源界更是魚龍混雜。因此OpenCC的誕生，就是爲了儘可能地解決這個難題。
漢字有十萬之衆，「簡化字」非但沒有減少漢字數量，反而使漢字數量更加龐大。雖然日常用到的字祇有數千，且有着複雜的關係。要做好簡繁轉換，必須理解這之中的許多關係與微妙的差別。
由於漢字造字年代久遠，且非一人一時之所造，通行時間又爲世界之最，流變眾多，許多字並非祇有一種寫法，如「為爲」「朵朶」「畫畵」「污汚汙」等等。這些字祇是寫法不同，而沒有任何表意的區別，因此被稱爲「異體字」。狹義的異體字是沒有任何表意的區別的一組字，而廣義的異體字還包含了表意範圍有交叉或所屬關係的字以及「通假字」。下文中的異體字全部是狹義的異體字。
需要注意的是「通假字」祇是同音假借，本字和被假借字可能意義完全不同，因而不是異體字。而「訛字」和「俗字」（絕大多數）則屬於異體字。例如「繫」字在傳抄的時候，左上角被寫成了「車」，然後以訛傳訛，就產生了訛字「繋」。「俗字」或稱「俗體字」是民間通行的一種變體，許多俗字就是筆畫較爲減省的異體字，也有很多來自訛字。
嚴格地說，「繁體字」和「簡體字」是異體字關係，「繁體字」是相對「簡體字」而創造的概念。「簡體字」這一名稱，始見於1935年民國教育部總結的一批「古已有之」、「歷代通行」的「筆劃較少的」異體字。這批簡體字主要蒐集自民間話本「述而不作」地整理出，沒有類推造字。
「簡化字」，顧名思義則是人工簡化的字，這個概念的產生與近代「漢字改革」思潮有關，最早見於錢玄同的文中。1964年，中國文字改革委員會出版了《簡化字總表》（不是「簡體字總表」），簡化字開始在中國大陸流行開來。1977年，中央又發佈《第二次漢字簡化方案》，1986年被廢除，史稱「二簡字」。慢慢「簡化字」這一概念就被固定下來，專指中國大陸推行的簡化字。
「簡體字」並完全不等於「簡化字」，前者強調異體關係，後者強調簡化關係。而現在這兩個概念趨於混淆，乃至用「簡體字」表達「簡化字」的意義更常見，其主要原因是由於另一個詞彙「簡體中文」的出現。比起中文的混淆，英文解釋更加清楚：「簡化字」的英文翻譯是「simplified Chinese characters」（簡化過的漢字），simplified源自動詞simplify簡化。
由於「簡體字」和「繁體字」本身存在對立關係，繁體字也就慢慢變成專指港澳臺用字了。事實上港澳臺用字也不盡相同，如「裏」「裡」等，於是又有了「港澳繁體」「臺灣正體」等名字。
OpenCC的的誕生並不是輪子的重複發明，而是爲了實現一個更好的簡繁轉換計劃。
毫無疑問最廣爲人知的簡繁轉換項目莫過於Wikipedia提供的簡繁轉換表。Wikipedia有效地利用了分散的人力，整理出了一個數量不小的表格，其優點在於詳細地區分了簡繁轉換和地域轉換。但是也有許多不足：
- 異體字處理混亂，「一簡對多異」被當作「一簡對多繁」處理。如「为」對應「爲為」。
- 一簡對多繁有眾多爭議，處理不統一，時分時不分。如「卷烟」「烟卷」分別用了「煙」和「菸」。
- 有大量不成詞的「詞」，祇爲正向最大轉換優化，不兼容別的分詞算法。如「们斗了胆」「們斗了膽」。
- 專爲Wikipedia設計，依賴編輯的人工干預。
- 一般非地域轉換中「着」被併入「著」，不符合香港、海外等地用字習慣。
使Wikipedia做出改變較難，尤其是民主的管理模式下，多數人可能會毫不顧及少數人的請求。
http://code.google.com/p/cconv/是另一個簡繁轉換的項目，早於OpenCC開發，但是有缺陷：
- 簡繁轉換和地域轉換混同一談。
- 完全沒有處理異體字。
- 功能雜糅了編碼轉換和簡繁轉換，不易剝離。
- 簡繁轉換數據被編譯到庫中，無法修改和擴展（除非重新編譯）。
- GPL協議發佈，對開發者限制較大。
- 目前長期無人維護。
OpenCC有獨立的「一簡對多繁」表、「一繁對多簡」表和異體字表，保證沒有混雜着異體字。而且可以方便地自定義地區習慣使用的異體字，兼容臺灣、香港和海外地區不同的習慣。
簡繁轉換詞庫中數萬詞彙經過校對，最大可能地保證轉換準確性，用字原則爲「能分則不合」。舉例如「臺」「檯」「台」，在臺灣習慣中，有合流爲「台」的現象，但其意義界限明顯，故OpenCC從分。根據不同的習慣，也可以設定爲合流。
OpenCC把詞庫和程序庫完全分離，程序庫可以讀取兩種格式的詞庫，一種爲Tab分割的平面文本，一種爲OpenCC專門優化過的數據結構，ocd格式。平面文本數據庫格式方便閱讀和修改，ocd格式是OpenCC構造出的Double Array Trie數據結構，基於darts-clone，使用其可以大大提供轉換速度。OpenCC還提供了詞庫轉換程序，可以自由在兩種格式之間轉換。
OpenCC的繁體到簡體轉換的詞庫是由單字對應人工校對後生成的，單字對應數據來自Unicode數據庫以及人工的覈對和修改。簡體到繁體的詞庫由大量的繁體語料自動轉換到簡體然後人工校對而成。
參考資料