“来自Google的Peter Norvig， “Statistical Learning as the Ultimate Agile Development Tool. “.
……
演讲中他用分词作为例子，你可以看到采用大量数据统计为基础实现分词的核心代码只需要大概10来行Python代码, 当然这个能解决中文的问题。 一些号称中文分词是其核心技术的公司和学术人士们的确要醒一醒了，不过很多人也可能醒着但仍然扛着招牌吓人而已。 （Google的基于统计的分词应该是现在在使用中的技术，其核心很简单，但需要大量的文档作为training, 以及海量计算资源）”