Scrapy

Scrapy 是一个Python语言编写的开源(BSD)网络爬虫软件。

项目

• distribute_crawler 使用Scrapy, Redis, MongoDB, Graphite 实现的一个分布式网络爬虫。
• Scrapy Cluster
• scrapy-redis
• SinaSpider 新浪微博爬虫（Scrapy、Redis）
• QQSpider QQ空间爬虫（日志、说说、个人信息）
• Tmall1212 天猫双12爬虫，附商品数据。

文档

• 互联网信息获取技术实践与云端爬虫养成记

图集

• 

  架构

• 

  集群架构

链接

• Scrapy官网
• Scrapy @ GitHub
• Scrapy文档