包含“scrapy”标签的文章

使用scrapy-redis组件写分布式爬虫实战
2017-09-05 23:29:37
今天摸索了一下使用scrapy-redis组件做一个分布式爬虫,虽然历经坎坷,但是最后终于成功了,也学到了相应的知识。完整项目地址,更多爬虫练手代码请点此进入gitoschina查看scrapy-redis 官方github地址1...
标签: scrapyscrapy-redis爬虫 分类: Python 9163 人围观, 33 人喜欢
通过scrapy框架爬取小姐姐的磁力链接
2017-09-05 11:11:51
注意:本文章不适合不会scrapy的,不讲解scrapy基础知识。完整项目地址,更多爬虫练手代码请点此进入gitoschina查看这次要爬的是一个磁力链接搜索网站,从女优列表开始爬,爬每个女优的所有作品的磁力链接信息,如图:并且将数据存到m...
标签: scrapy爬虫 分类: Python 3601 人围观, 8 人喜欢