Python 文本挖掘系列文章(一)

Python 是我主要使用的编程语言,因为其容易上手,处理数据简单快捷,有丰富完善的文本分析库。之后的日志将会逐一介绍整个文本挖掘流程中使用到的Python 库及方法,还有我走过的弯路。此处先做一个总结:
数据存储于读取数据:xlrd
中文分词及词性标注:jieba
分句:自己编写,可参见该日志使用 Python 实现中文分句
文本相似度计算:gensim
自然语言处理:nltk
情感分析(词典方法):自己编写词典匹配
情感分类(机器学习方法):nltk + scikit-learn
机器学习:scikit-learn
由于刚学Python 进行编程,程序必然有各种问题,在以后更深入学习之后将会持续修改。现在所使用的都是Python 和这些库最基本的功能,力求完成整个项目,而非最佳和最优。
 
用Python做文本挖掘的流程(英文)
  • 收集数据
    • 数据集。如果是已经被人做成数据集了,这就省去了很多麻烦事
    • 抓取。这个是 Python 做得最好的事情,优秀的包有很多,比如 scrapybeautifulsoup 等等。
  • 预处理(对这里的高质量讨论结果的修改,下面的顺序仅限英文
  1. 去掉抓来的数据中不需要的部分,比如 HTML TAG,只保留文本。结合 beautifulsoup 和正则表达式就可以了。pattern.web 也有相关功能。
  2. 处理编码问题。没错,即使是英文也需要处理编码问题!由于 Python2 的历史原因,不得不在编程的时候自己处理。英文也存在 unicode 和 utf-8 转换的问题,中文以及其他语言就更不用提了。这里有一个讨论,可以参考,当然网上也有很多方案,找到一个适用于自己的最好。
  3. 将文档分割成句子。
  4. 将句子分割成词。专业的叫法是 tokenize。
  5. 拼写错误纠正。pyenchant 可以帮你!(中文就没有这么些破事!)
  6. POS Tagging。nltk 是不二选择,还可以使用 pattern
  7. 去掉标点符号。使用正则表达式就可以。
  8. 去掉长度过小的单词。len<3 的是通常选择。
  9. 去掉 non-alpha 词。同样,可以用正则表达式完成 W 就可以。
  10. 转换成小写。
  11. 去掉停用词。Matthew L. Jockers 提供了一份比机器学习和自然语言处理中常用的停词表更长的停词表中文的停词表 可以参考这个。
  12. lemmatization/stemming。 nltk 里面提供了好多种方式,推荐用 wordnet 的方式,这样不会出现把词过分精简,导致词丢掉原型的结果,如果实在不行,也用 snowball 吧,别用 porter,porter 的结果我个人太难接受了,弄出结果之后都根本不知道是啥词了。MBSP 也有相关功能。
  13. 重新去掉长度过小的词。是的,再来一遍。
  14. 重新去停词。上面这两部完全是为了更干净。
  15. 到这里拿到的基本上是非常干净的文本了。如果还有进一步需求,还可以根据 POS 的结果继续选择某一种或者几种词性的词。

说明:在预处理部分仅仅针对英文的情况,由于中英文在分词上是不同的机制,所以在处理中文的时候需要根据情况进行,个人经验是在去停词之前分词。这部分有待完善。

参考文献
http://rzcoding.blog.163.com/blog/static/222281017201310153472641/

发表评论

电子邮件地址不会被公开。 必填项已用*标注