Note guid: KZ5=wq7ie; notetype: AI-Vocabulary-Style Tags Front トークナイザー Back-EN Tokenizer Back-FR Jetonage Reading Tokenizer Sentence トークナイザとは自然言語処理を行うためには、まず文章を単語(トークン)に分解するトークナイズを行い、コンピューターが処理できる入力形式に変換しなければいけません。