tokens-token生成算法

在语料库语言学中，会计算文本的tokens和typestokens指的是“形符”，就是文本中出现的所有词的个数types指的是“类符”，就是文本中出现的不重样的词的个数比如，有一个两句话的文本I am a boy I am a。

先了解for下的delims的用法delims=xxx 指分隔符集这个替换了空格和跳格键的 默认分隔符集明白之后再解释tokenstokens=x，y，mn 指每行的哪一个符号被传递到每个迭代 的 for 本身这会导致额外变量名。

1 等效于 01，其中1表示倒数第一个元素，由于python列表索引 ij 包括i而不包括j，所以 1 表示从第一个元素到最后一个元素不包括综上，最后一行表示将列表 tokens 中除最后一个元素外的每个。

性质区别作用区别等1性质区别大模型的token是指在使用语言模型时，输入文本被分割成的小单元这些tokens可以是词字母或其他更小粒度的单位参数则是指神经网络中可调整的权重和偏置等配置变量2作用区别当。