Skip to content

Files

Latest commit

b2e71f2 · Mar 9, 2023

History

History
24 lines (18 loc) · 434 Bytes

トークナイザー.md

File metadata and controls

24 lines (18 loc) · 434 Bytes

Note

guid: KZ5=wq7ie;
notetype: AI-Vocabulary-Style

Tags

Front

トークナイザー

Back-EN

Tokenizer

Back-FR

Jetonage

Reading

Tokenizer

Sentence

トークナイザとは自然言語処理を行うためには、まず文章を単語(トークン)に分解するトークナイズを行い、コンピューターが処理できる入力形式に変換しなければいけません。