清华学霸尹成Python爬虫教学视频

【课程内容】



day1



  1爬虫的基本概念

  2Fiddler简介

  3网页信息简介

  4读取网页三种方法

  5正则表达式回顾

  6抓取智联招聘

  7抓取51job

  8作业

  

day2



  1response网络详细信息

  2agent代{过}{滤}理解决网站屏蔽

  3agent也可以冒充手机或者ipad浏览器

  4get模拟百度

  5get模拟智联招聘

  6get小结

  7post通信

  8postcgi

  9get与post小结

  10综合应用模拟android手机浏览器

  11本地代{过}{滤}理

  12代{过}{滤}理密码验证

  13下载

  14重定向

  15加密网址的访问

  16debug调试

  17readcookie

  18save与Loadcookie

  19人人网cookie模拟登陆

  

day3



  1dedecms模拟登陆

  2dedecms操作

  3抓取所有页面

  4提取页面岗位职责

  5提取页面表格

  6提取数据

  

day4



  1基本绘图

  2数据职位绘图并保存为图片

  3词云理解句子切割为词语集合

  4词云定制

  5词云简介

  6wordcloud汉化

  6汉化词云第一个案例

  7招聘的词云

  8作业

  9寻找陈明的大妈之旅

  10年龄身高排序

  11根据学历排序与作业

  

day5



  1回顾

  2百度贴吧爬虫的基本介绍

  3百度贴吧页面数量提取

  4提取贴吧每一页的链接

  5提取百度贴吧的每个页面的子链接

  6提取邮箱或者QQ

  7百度登陆token第一步

  8百度的模拟登陆以及cookie

  9作业与小结

  

day6



  1数据与xml简介

  2文本与html加工为xml树

  3xpath入门操作选择所有子节点选择子节点之下的属性

  4xpath的详细方法

  5xpath测试实战

  6xpath智联招聘

  7xpath解决51job.

  8xpath股票

  9xpath挖掘内涵

  10爬虫高级应用介绍

  11脚本之家抓取

  12BAT抓取python先抓阿里的页码

  13抓取阿里巴巴的信息xpath

  14seleniumBaidu

  15seleniumCSDN登陆

  16selenium解决阿里巴巴屏蔽模拟点击

  

day7



  1xpath提取贴吧图片

  2BS4解析网页的三种风格

  3BS4.NavigableString.BeautifulSoup.Comment

  3BS4标签抓取

  4BS4遍历文档树的三种方法

  5BS4文档查找检索办法

  6CSS标签的选择

  7BS4抓取单个数据zhaopin

  8BS4提取股票数据

  9抓取岗位说明

  10BS4挖掘腾讯岗位

  11小结

  

day8



  1selenium浏览器介绍

  2网页登录器