关于tokenizer.encode转为onehot的信息

public BigInteger encodeDecodeBigInteger base BigInteger a = ONE BigInteger s = base BigInteger n = myKey while ！nequalsZERO if！nmodTWOequalsZERO a = amultiplysmodmyMod s =。

alist小雅替换token如下1首先，我们使用tokenizer的encode方法将句子转换为一个token序列，其中add_special_tokens=False表示不添加特殊的起始和结束标记2然后，我们使用tokenizer的convert_tokens_to_ids方法将新的token转。

注意有一个方法 setDropLast，是否丢弃最后一个数，默认为true，观察上面的结果发现categoryIndex最大的20，经过OneHot得到的categoryVec为2，最大的categoryIndex被丢弃了不过在设置setDropLastfalse后。