北京皮肤科专科医院 http://m.39.net/pf/a_4322685.html希望点击上方编程学习者社区，选择创建星标
回复关键字资源获取编程资源
豆瓣电影TOP，对于众多爬虫爱好者，应该并不陌生。
很多人都会以此作为第一个练手的小项目。
当然这也多亏了豆瓣的包容，没有加以太多的反爬措施，对新手比较友好。
本期通过Scrapy框架，对豆瓣电影TOP信息进行爬取。
同时对获取的数据进行可视化分析，给大家带来一个不一样的TOP。
/01/Scrapy
之前了解了pyspider框架的使用，但是就它而言，只能应用于一些简单的爬取。
对于反爬程度高的网站，它就显得力不从心。
那么就轮到Scrapy上场了，目前Python中使用最广泛的爬虫框架。
当然目前我学习的都是简单爬虫，上述内容都是道听途说，并不是切身体会。
Scrapy的安装相对复杂，依赖的库较多。
不过通过度娘，最后我是成功安装了的。放在C盘，如今我的C盘要爆炸。
首先任意文件夹下命令行运行scrapystartprojectdoubanTop，创建一个名为doubanTop的文件夹。
然后在文件夹下的py文件中改写程序。
进入文件夹里，命令行运行scrapygenspiderdoubanmovie.douban.
