FastTokenizer Python 库使用教程

1. 快速安装

环境依赖

Windows 64位系统
Linux x64系统
MacOS 10.14+系统（m1芯片的MacOS，需要使用x86_64版本的Anaconda作为python环境方可安装使用）
Python 3.6 ~ 3.10

安装

pip install --upgrade fast_tokenizer