- 恰当的异常处理
- 是否正文问题
- 防重复分析
- 爬虫进度
- 自测
- 加注释
- 解决任务不启动问题
- 数据库连接池
- 杀死僵死进程
python run.py -u www.sina.com -d 2 -f spider.log --thread 30 --dbfile spider.db
spider_lab
Directory actions
More options
Directory actions
More options
spider_lab
Folders and files
| Name | Name | Last commit date | ||
|---|---|---|---|---|
parent directory.. | ||||