Commits

Branch selector

 master

User selector

All users

All time

Commit History

Commits on Feb 23, 2018

• UPDATE:修改README.中的文档指向

  jyy007008

  committed
  3f2e8b4

  Copy full SHA for 3f2e8b4

• DELETE:删除废弃文件

  jyy007008

  committed
  1240d2d

  Copy full SHA for 1240d2d

• Merge branch 'master' of github.com:BruceJu/LPython_Spider

  jyy007008

  committed
  5204706

  Copy full SHA for 5204706

• ADD;添加在线文档中心

  jyy007008

  committed
  7991506

  Copy full SHA for 7991506

Commits on Feb 22, 2018

• Set theme jekyll-theme-midnight

  BruceJu

  committed
  6d7b541

  Copy full SHA for 6d7b541

Commits on Feb 8, 2018

• ADD ：使用Flask-script对webserver.redis和spider进行命令行控制

  jyy007008

  committed
  ff76872

  Copy full SHA for ff76872

• ADD：添加Flask服务框架

  jyy007008

  committed
  b363406

  Copy full SHA for b363406

Commits on Jan 30, 2018

• ADD;添加定时功能，使爬虫可以定时自动执行，并完善文档

  jyy007008

  committed
  3015fd8

  Copy full SHA for 3015fd8

Commits on Jan 29, 2018

• ADD:添加基于运行状态的微信通知

  jyy007008

  committed
  47d5693

  Copy full SHA for 47d5693

• Update README.md

  BruceJu

  authored
  e5007ae

  Copy full SHA for e5007ae

• Update README.md

  Show description for 44869ee
  BruceJu

  authored
  44869ee

  Copy full SHA for 44869ee

• ADD:添加针对避免每次启动重复爬取的策咯(支持化dupefilter),并添加文档说明

  jyy007008

  committed
  83552d4

  Copy full SHA for 83552d4

• Add；添加异常状态的邮件通知机制，更新文档

  jyy007008

  committed
  237b3d4

  Copy full SHA for 237b3d4

Commits on Jan 25, 2018

• Update 更新引用（在提交数据给后端云时有bug.数据格式不对）

  jyy007008

  committed
  061864b

  Copy full SHA for 061864b

• Add：添加leancloud的参数配置操作

  jyy007008

  committed
  d04a9a3

  Copy full SHA for d04a9a3

• Update:修改无效response的记录逻辑，更改为redis缓存。分离项目Helper类，进行单独维护

  jyy007008

  committed
  dc02b6c

  Copy full SHA for dc02b6c

• Update:更新忽略文件

  jyy007008

  committed
  286e482

  Copy full SHA for 286e482

• Update:更新config文件，更新READ.me

  jyy007008

  committed
  bbd6867

  Copy full SHA for bbd6867

• Fix:修正关于log引用的警告

  jyy007008

  committed
  00f0b02

  Copy full SHA for 00f0b02

• Update:更新TODOlist

  jyy007008

  committed
  0952802

  Copy full SHA for 0952802

• Fix:解决由于有些页面没有封面封会导致，进入管道时，数据无法正常使用入库的问题

  jyy007008

  committed
  f21edd3

  Copy full SHA for f21edd3

• Add:使用spider的定时关闭功能，来处理分布式时的空跑问题

  jyy007008

  committed
  4df43b5

  Copy full SHA for 4df43b5

• Add:添加针对重试和记录机制的文档说明，补充移除文件时异常捕获逻辑

  jyy007008

  committed
  6804834

  Copy full SHA for 6804834

• Add:添加重试记录机制的测试代码，测试机制有效性（有效）

  jyy007008

  committed
  3f8a6aa

  Copy full SHA for 3f8a6aa

• Add:格式化输出文件。整理Setting

  jyy007008

  committed
  052c53f

  Copy full SHA for 052c53f

• Add：添加针对非正常Response的重试机制和收集机制中间件以及配置项

  jyy007008

  committed
  ce586be

  Copy full SHA for ce586be

• Add:添加日志输出到文件

  jyy007008

  committed
  70d574c

  Copy full SHA for 70d574c

• Fix:修改运行分布式时由于路径和编码格式的写法，导致在Linux上无法正常运行的BUG，并添加文档说明

  jyy007008

  committed
  9b4eb49

  Copy full SHA for 9b4eb49

Commits on Jan 24, 2018

• Fix：修正相关代码，整体运行分布式爬取，记录过程中出现的问题，同步Todo，同步READ.me，

  jyy007008

  committed
  6cf37ac

  Copy full SHA for 6cf37ac

• Update:修改代理IP的访问地址获取逻辑，使之可以随着host的切换而切换

  jyy007008

  committed
  6dde448

  Copy full SHA for 6dde448

• Fix：修复缺少Redis_key导致的爬虫无法正常运行的crash.

  jyy007008

  committed
  6765215

  Copy full SHA for 6765215

• Update:修改config文件的访问方式，以单例模式进行访问，添加针对IPProxyPool的静态参数访问

  jyy007008

  committed
  95d0631

  Copy full SHA for 95d0631

• Add：使用属性方法来添加默认参数的配置文件(config)，以及操作文件(config.py)，方便管理,只需要更改config.json中的值，就可以控制全局的参数，也提供set方法

  jyy007008

  committed
  d631763

  Copy full SHA for d631763

• Update:在Pipeline中采用异步的方式处理数据

  jyy007008

  committed
  aa712d1

  Copy full SHA for aa712d1

• Update:修改README.md 添加对分布式爬虫只有一个爬虫可运行的问题的描述，和解决思路的描述

  jyy007008

  committed
  079ff35

  Copy full SHA for 079ff35