使用 Mitmdump 爬取 "抖音" App短视频信息,包含标题、视频下载地址、作者、发布时间、获赞数等。
非自动化爬取App数据 - 基于Mitmproxy的Mitmdump组件实现APP数据的爬取。
爬取之前先将手机与PC至于同局域网并确保手机WIFI的代理端口为8888,然后打开Charles获取视频请求的链接,如图:
自动化滑动刷新有尝试过,但是由于技术有限,不能实现抖音APP的登录,所以用Charles只能获取视频下载链接,而不能获取其他有效信息,比如视频的名称、作者名称、获赞数、转发量等。
使用Python脚本拦截response爬取视频信息并下载视频,同时将视频信息存储至JSON。
如图:
获取的数据不能直接存储至MongoDB等数据库,具体原因尚不清楚,若您知道,请提交issuse。




