reptile --- 爬虫-----个人网站 目标: 首先用来爬各大热门技术门户网站上的文章,个人要求定制 技术栈: 1.nodeJS:开发服务器 2.cheerio: 网页内容爬取 3.superagent: 模拟登录,爬取资源 4.React + Redux + Router: 前端构建 5.其他 针对特定的网站进行爬取 功能要求: 1:通过网址进行爬取(是否需要登录,需要登录则需要提供登录的网址) 2:关键词搜索&过滤(通过关键词搜索特定的文章) 3: 待续