Skip to content

yanyjcoder/reptile

Repository files navigation

                           reptile --- 爬虫-----个人网站

目标: 首先用来爬各大热门技术门户网站上的文章,个人要求定制

技术栈

1.nodeJS:开发服务器

2.cheerio: 网页内容爬取

3.superagent: 模拟登录,爬取资源

4.React + Redux + Router: 前端构建

5.其他

针对特定的网站进行爬取

功能要求

1:通过网址进行爬取(是否需要登录,需要登录则需要提供登录的网址)

2:关键词搜索&过滤(通过关键词搜索特定的文章)

3: 待续

About

nodeJs

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors