Skip to content

simpleSpider

Directory actions

More options

Directory actions

More options

Latest commit

 

History

History

simpleSpider

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
requests_demo
requests_demo
 
 
xpath_demo
xpath_demo
 
 
1.txt
1.txt
 
 
README.md
README.md
 
 
douban_movie.py
douban_movie.py
 
 
dytt_movie.py
dytt_movie.py
 
 
gd_chinaunicombidding_cn.py
gd_chinaunicombidding_cn.py
 
 
htmlParser.py
htmlParser.py
 
 
mongoDB_util.py
mongoDB_util.py
 
 
new.jpg
new.jpg
 
 
pyqueryDemo.py
pyqueryDemo.py
 
 
reDemo1.py
reDemo1.py
 
 
reDemo2.py
reDemo2.py
 
 
tangshi_list_pyquery.py
tangshi_list_pyquery.py
 
 
tangshi_list_xpath.py
tangshi_list_xpath.py
 
 
tangshi_list_xpath2.py
tangshi_list_xpath2.py
 
 
tel.txt
tel.txt
 
 
tencent.html
tencent.html
 
 
tencent_parse.py
tencent_parse.py
 
 
tesserract.zip
tesserract.zip
 
 
test.py
test.py
 
 
tmall.html
tmall.html
 
 
tmall_parser.py
tmall_parser.py
 
 
verifyCode.jpg
verifyCode.jpg
 
 
wojiachuangfu.py
wojiachuangfu.py
 
 
www_zbytb_com.py
www_zbytb_com.py
 
 
xpath.html
xpath.html
 
 
xpathDemo.py
xpathDemo.py
 
 

README.md

网络爬虫学习2019

1.reDemo1.py

  • 正则表达式，示例1， -1.txt 为测试数据

2.reDemo2.py

  • 正则表达式，示例2
  • 1.txt 为测试数据

3.wojiachuangfu.py

# wo+创富短信推送，
# requests的使用，登陆，发送
# tel.txt 为号码信息

4.pyqueryDemo.py

  • pyquery的使用，与jquery很相似

5.tangshi_list_pyquery

  • 使用pyquery抓取唐诗300首数据

6.xpathDemo.py

  • xpath与lxml技术测试

7.tencent_parse.py

# 使用xpath与lxml技术分析tencent.html中的内容
# tencent.html内容为从hr.tencent.com中的代码段

8.tangshi_list_xpath

  • 使用xpath技术抓取唐诗300首数据

9.douban_movie

  • 爬取豆瓣电影内容【正在上映】

10.dytt_movie.py

  • 爬取电影天堂数据