Commit da492bb9 authored by jackfrued's avatar jackfrued

更新了Scrapy部分文档

parent 3e313ffb
......@@ -6,11 +6,25 @@
### Scrapy分布式实现
### 布隆过滤器
1. 安装Scrapy-Redis。
2. 配置Redis服务器。
3. 修改配置文件。
- SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
- DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
- REDIS_HOST = '1.2.3.4'
- REDIS_PORT = 6379
- REDIS_PASSWORD = '1qaz2wsx'
- SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'
- SCHEDULER_PERSIST = True(通过持久化支持接续爬取)
- SCHEDULER_FLUSH_ON_START = True(每次启动时重新爬取)
### Scrapyd分布式部署
1. 安装Scrapyd
2. 修改配置文件
- mkdir /etc/scrapyd
- vim /etc/scrapyd/scrapyd.conf
3. 安装Scrapyd-Client
- 将项目打包成Egg文件。
- 将打包的Egg文件通过addversion.json接口部署到Scrapyd上。
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment