Commits

Breadcrumbs

History for

onmaster

User selector

All users

All time

Commit History

Commits on Feb 23, 2018

• ADD;添加在线文档中心

  jyy007008

  committed
  7991506

  Copy full SHA for 7991506

Commits on Feb 8, 2018

• ADD ：使用Flask-script对webserver.redis和spider进行命令行控制

  jyy007008

  committed
  ff76872

  Copy full SHA for ff76872

• ADD：添加Flask服务框架

  jyy007008

  committed
  b363406

  Copy full SHA for b363406

Commits on Jan 30, 2018

• ADD;添加定时功能，使爬虫可以定时自动执行，并完善文档

  jyy007008

  committed
  3015fd8

  Copy full SHA for 3015fd8

Commits on Jan 29, 2018

• ADD:添加基于运行状态的微信通知

  jyy007008

  committed
  47d5693

  Copy full SHA for 47d5693

• ADD:添加针对避免每次启动重复爬取的策咯(支持化dupefilter),并添加文档说明

  jyy007008

  committed
  83552d4

  Copy full SHA for 83552d4

• Add；添加异常状态的邮件通知机制，更新文档

  jyy007008

  committed
  237b3d4

  Copy full SHA for 237b3d4

Commits on Jan 25, 2018

• Update 更新引用（在提交数据给后端云时有bug.数据格式不对）

  jyy007008

  committed
  061864b

  Copy full SHA for 061864b

• Add：添加leancloud的参数配置操作

  jyy007008

  committed
  d04a9a3

  Copy full SHA for d04a9a3

• Update:修改无效response的记录逻辑，更改为redis缓存。分离项目Helper类，进行单独维护

  jyy007008

  committed
  dc02b6c

  Copy full SHA for dc02b6c

• Update:更新config文件，更新READ.me

  jyy007008

  committed
  bbd6867

  Copy full SHA for bbd6867

• Fix:修正关于log引用的警告

  jyy007008

  committed
  00f0b02

  Copy full SHA for 00f0b02

• Update:更新TODOlist

  jyy007008

  committed
  0952802

  Copy full SHA for 0952802

• Fix:解决由于有些页面没有封面封会导致，进入管道时，数据无法正常使用入库的问题

  jyy007008

  committed
  f21edd3

  Copy full SHA for f21edd3

• Add:使用spider的定时关闭功能，来处理分布式时的空跑问题

  jyy007008

  committed
  4df43b5

  Copy full SHA for 4df43b5

• Add:添加针对重试和记录机制的文档说明，补充移除文件时异常捕获逻辑

  jyy007008

  committed
  6804834

  Copy full SHA for 6804834

• Add:添加重试记录机制的测试代码，测试机制有效性（有效）

  jyy007008

  committed
  3f8a6aa

  Copy full SHA for 3f8a6aa

• Add:格式化输出文件。整理Setting

  jyy007008

  committed
  052c53f

  Copy full SHA for 052c53f

• Add：添加针对非正常Response的重试机制和收集机制中间件以及配置项

  jyy007008

  committed
  ce586be

  Copy full SHA for ce586be

• Add:添加日志输出到文件

  jyy007008

  committed
  70d574c

  Copy full SHA for 70d574c

• Fix:修改运行分布式时由于路径和编码格式的写法，导致在Linux上无法正常运行的BUG，并添加文档说明

  jyy007008

  committed
  9b4eb49

  Copy full SHA for 9b4eb49

Commits on Jan 24, 2018

• Fix：修正相关代码，整体运行分布式爬取，记录过程中出现的问题，同步Todo，同步READ.me，

  jyy007008

  committed
  6cf37ac

  Copy full SHA for 6cf37ac

• Update:修改代理IP的访问地址获取逻辑，使之可以随着host的切换而切换

  jyy007008

  committed
  6dde448

  Copy full SHA for 6dde448

• Fix：修复缺少Redis_key导致的爬虫无法正常运行的crash.

  jyy007008

  committed
  6765215

  Copy full SHA for 6765215

• Update:修改config文件的访问方式，以单例模式进行访问，添加针对IPProxyPool的静态参数访问

  jyy007008

  committed
  95d0631

  Copy full SHA for 95d0631

• Add：使用属性方法来添加默认参数的配置文件(config)，以及操作文件(config.py)，方便管理,只需要更改config.json中的值，就可以控制全局的参数，也提供set方法

  jyy007008

  committed
  d631763

  Copy full SHA for d631763

• Update:在Pipeline中采用异步的方式处理数据

  jyy007008

  committed
  aa712d1

  Copy full SHA for aa712d1

• Update:修改README.md 添加对分布式爬虫只有一个爬虫可运行的问题的描述，和解决思路的描述

  jyy007008

  committed
  079ff35

  Copy full SHA for 079ff35

Commits on Jan 23, 2018

• UPDATE:添加README.配置Redis主机IP

  jyy007008

  committed
  0ca3a18

  Copy full SHA for 0ca3a18

• ADD 添加自动限速设置，以及更新分布式setting配置

  jyy007008

  committed
  7669384

  Copy full SHA for 7669384

• ADD 添加批量同步request至redis的逻辑，解决分布式时，多Spider只响应一个的问题

  jyy007008

  committed
  8e99001

  Copy full SHA for 8e99001

• ADD：添加分布式测试爬虫，排查多爬虫连接Redis，只有一个爬虫可正常运行的的问题

  jyy007008

  committed
  0fe5507

  Copy full SHA for 0fe5507

• Add:添加Redis操作脚本，单例模式启动方便管理，提供批量添加，增，删，改，查操作

  jyy007008

  committed
  40120e4

  Copy full SHA for 40120e4

Commits on Jan 20, 2018

• Add:使用scrapy-redis将爬虫改造为分布式爬虫，引入redis引擎和过滤机制

  jyy007008

  committed
  e71b488

  Copy full SHA for e71b488

• Add:配置Setting

  jyy007008

  committed
  e22c661

  Copy full SHA for e22c661