Skip to content

wangyz1999/pku_pos_modifier

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

24 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

应用模式:

  1. 输入一篇文档,应用斯坦福分词器进行中文分词,并给予词性,生成分词词性文档。 词性标注为滨州树库标准,应用词性转换,将词性变为北京大学词性标注集(pku)

  2. 输入一篇文档,应用Ictclas分词器进行中文分词,并给予词性,生成分词词性文档。 词性标注为Ictclas标准,应用词性转换,将词性变为北京大学词性标注集(pku)

  3. 输入pku词性标注后的文档,使用词性修正器对词性进行修正,输出pku标准的分词词性文档

Config文档介绍:

  1. 输入格式

    模式包括模式左部(匹配规则)和模式右部(具体改动),每个模式的输入格式为

     					"左部->右部"
    

1.2. 左部: 左部由若干子模式组成, 子模式 i 的基本形式为:

  1. 组合体,形式为:

    • ANY/词性,其中ANY表示任意单词
    • 词/ANY,其中ANY表示任意词性
    • 2ANY 表示对应的词或词性的字数一定是两个或以上
  2. 特殊符号:

    • EOS 表示句子结尾 End of Sentence
    • BOS 表示句子开头 Beginning of Sentence
    • KEY 搜索中会先查找是否有 KEY 所在的词,然后搜索和此词对应的所有config

子模式的组合方式:"子模式1+子模式2+…+子模式n","+"可被 "~" 替换,"~" 表示分隔的两个词之间可以有多个词。 举例:

1.3. 右部: 右部有三种形式:

  1. [词性]正确 --- 表示该词性为正确, 这会将词性锁住,防止其他config修改
  2. [词性A]>>[词性B] --- 表示修改词性A为词性B
  3. [组合1]MERGE[组合2] --- 将组合1变为组合2

一些细节

  1. 在当前的代码, MERGE 模式中, 左边子模式的数量一定不能等于右边自模式的数量, 如果只是想修改词的词性而不重新分词,请采用 [词性A]>>[词性B] 的形式
  2. MERGE 模式中, KEY一定指代的是方括号内的第一个字(词)

举例

修改前: 感/v 兴趣/n 的/u 朋友/n 不妨/d 多/a 了/u 解下/v

修改理由: KEY多/v+了/u+解下/v->[多/v 了/u 解下/v]MERGE[多/d 了解/v 下/f]

修改后: 感/v 兴趣/n 的/u 朋友/n 不妨/d 多/d 了解/v 下/f

此程序中的词性对照

注: 以下表格只有 Ictclas -> pku 或 Stanford -> pku 之间转换的对应, 并不存在 Ictclas 和 Stanford 之间的关系
Stanford 的词性中, NR 代表了人名,地名,和机构名, 这里将其全部转换为了ns (待解决问题)
Ictclas pku Stanford
n n NN
nr nr
nr1 nr
nr2 nr
nrj nr
nrf nr
nrf nr
ns ns NR
nsf ns NR
nt nt
nz nz
ng Ng
n_new n NN
njtgj n NN
ntbj n NN
ntsa n NN
ntzj n NN
词性 n NN
nthub n NN
ntyr n NN
ntsd n NN
ntyn n NN
ntsh n NN
n_newword n NN
ntzy n NN
ntgm n NN
ntss n NN
ntxz n NN
nttj n NN
ntcq n NN
ntes n NN
ntuk n NN
ntsx n NN
ntme n NN
ntgx n NN
ntqc n NN
ntit n NN
ntsc n NN
ntqz n NN
nthun n NN
ntah n NN
ntcb n NN
ntrqg n NN
nthen n NN
nthan n NN
ntdc n NN
ntgd n NN
ntjs n NN
ntjj n NN
nswyy n NN
nthk n NN
新增 n NN
ntdb n NN
ntz n NN
nv n NN
ntan n NN
nthl n NN
ntgz n NN
ntau n NN
ntqg n NN
ntkr n NN
ntjx n NN
ntjd n NN
ntsz n NN
ntkrn n NN
nttc n NN
ntjp n NN
nms n NN
ntjk n NN
ntthk n NN
ntfj n NN
ntjl n NN
ntheb n NN
ntrs n NN
nttw n NN
ntcj n NN
ntus n NN
ntgs n NN
ntot n NN
ntcn n NN
nttqg n NN
ntln n NN
ntts n NN
ntfr n NN
dg Dg
yxz y SP
yxb y SP
t t NT
tg tg
s s
f f LC
v v VV
vshi v VC
vyou v VE
vf v VV
vx v VV
vi v VV
vd vd
vn vn
vg vg
a a VA
ad ad
an an
ag Ag
al l
nl l
vl l
dl l
bl l
b b JJ
z z
r r PN
rr r PN
rz r PN
rzt r PN
rzs r PN
rzv r PN
ry r PN
ryt r PN
rys r PN
ryv r PN
rg r PN
Rg r PN
R r PN
r DT
m m CD
mq m CD
Mg m CD
m OD
q q M
qv q M
qt q M
d d AD
p p P
P p P
pba p P
pbei p P
c c CS
cc c CS
u u DEC
u DEG
u DER
u DEV
uzhe u
ule u
uguo u
ude1 u
ude2 u
ude3 u
usuo u
udeng u
uyy u
udh u
uls u
uzhi u
ulian u
e e IJ
y y SP
o o ON
h h
k k
x nx X
xx nx X
xu nx X
News nx X
xe nx X
nx X
nx FW
nx URL
w w PU
wkz w PU
wky w PU
wyz w PU
wyy w PU
wj w PU
ww w PU
wt w PU
wd w PU
wf w PU
wn w PU
wm w PU
ws w PU
wp w PU
wb w PU
wh w PU
P LB
P SB
P BA