Scrapy

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(项目)
(链接)
 
(未显示1个用户的2个中间版本)
第5行: 第5行:
 
==项目==
 
==项目==
 
*[https://github.com/gnemoug/distribute_crawler distribute_crawler] 使用Scrapy, [[Redis]], [[MongoDB]], [http://graphiteapp.org/ Graphite] 实现的一个分布式网络爬虫。
 
*[https://github.com/gnemoug/distribute_crawler distribute_crawler] 使用Scrapy, [[Redis]], [[MongoDB]], [http://graphiteapp.org/ Graphite] 实现的一个分布式网络爬虫。
 +
*[https://github.com/istresearch/scrapy-cluster Scrapy Cluster]
 
*[https://github.com/rmax/scrapy-redis scrapy-redis]
 
*[https://github.com/rmax/scrapy-redis scrapy-redis]
 
*[https://github.com/LiuXingMing/SinaSpider SinaSpider] 新浪微博爬虫(Scrapy、Redis)
 
*[https://github.com/LiuXingMing/SinaSpider SinaSpider] 新浪微博爬虫(Scrapy、Redis)
第16行: 第17行:
 
<gallery>
 
<gallery>
 
image:scrapy-architecture.png|架构
 
image:scrapy-architecture.png|架构
 +
image:Scrapy-Cluster-Architecture.png|集群架构
 
</gallery>
 
</gallery>
  
第26行: 第28行:
 
[[category:web crawler]]
 
[[category:web crawler]]
 
[[category:python]]
 
[[category:python]]
 +
[[category:huihoo]]

2019年1月28日 (一) 07:45的最后版本

Scrapy 是一个Python语言编写的开源(BSD)网络爬虫软件。

目录

[编辑] 指南

[编辑] 项目

[编辑] 文档

[编辑] 图集

[编辑] 链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱