tokenization中文的简单介绍

Machine Learning for Hackers 中文版机器学习实用案例解析 我建议你在阅读了Programming Collective Intelligence一书之后，再阅读这本书这本书中也提供了很多实践练习，但是涉及更多的数据分析，并且使用R语言我个人很喜欢这本。

tokenization 方法比 StreamTokenizer 类所使用的方法更简单 StringTokenizer 方法不区分标识符数和带引号的字符串，它们也不识别并跳过注释 可以在创建时指定，也可以根据每个标记来指定分隔符分隔标记的字符集 StringTokenizer 的。

从文档里面提取单词的过程通常被成为语法分析 parsing 和标记化 tokenization ，这个过程可以产生一系列用于表示文档的标记 token ，有时又被成为单词 word P155 标记化的一个常见的附加步骤就是移除非用词 stop word。