包含tokenizer.encoder_plus函数的词条

还有其他的方法，如encoder， decoder， encode_plus，具体参见BertForMaskedLM用于预测 一个被mask的token 点赞 踩 收藏 打赏 评论 pytorch bert 快速开始。

本章节带来了Transformers中的Tokenizer的基本使用，希望大家喜欢代码将在视频过审后更新在github上，地址。

tokenizerencode_plus tokenizerpad 在使用的时候经常会傻傻分不清楚，希望在这里对常用到的函数进行说明 # 导入from transformers import。