21天Python爬虫实战课

 1. 为什么选择这门Python爬虫课程   
系统化学习路径是掌握爬虫技术的关键。本课程从HTTP协议基础讲起，逐步深入到Scrapy框架应用，覆盖requests库操作、xpath解析、数据存储等核心知识点。课程采用"理论+实战"双轨模式，每章节都配有拉勾网、豆瓣电影等真实案例，帮助学员建立完整的爬虫知识体系。   

 2. 课程核心内容解析   
课程分为6大模块：网络请求（含代理IP与cookie模拟登录）、数据解析（XPath/BS4/正则表达式三剑客）、数据存储（MySQL/MongoDB/CSV多方案）、爬虫进阶（多线程/Selenium/验证码破解）、Scrapy框架（含分布式爬虫实战）。特别值得关注的是第5章节的12306抢票系统实战，演示了自动化爬虫的完整开发流程。   

 3. 特色实战项目亮点   
• 电影天堂全站爬虫：掌握多级页面抓取策略   

• 中国天气网可视化：结合Matplotlib实现数据动态展示   

• 汽车之家图片下载：大型项目的模块化开发思维   

• 房天下分布式爬虫：学习Redis协作与海量数据处理技巧   

每个项目均提供完整源码，学员可快速复现商业级爬虫应用场景。   

 4. 适合哪些学习者   
本课程专为零基础转型数据分析或希望提升自动化效率的开发者设计。通过21天的阶梯式训练，学员能独立完成：动态网页抓取、反爬策略突破、数据清洗存储等任务。已有学员运用课程技术成功开发了招聘信息分析系统和电商价格监控工具。   

 5. 课程资源与后续提升   
配套资源包含67节高清视频、可运行的源码文件及爬虫工具包（含Fiddler抓包工具配置指南）。完成课程后，学员可继续挑战拓展作业：BOSS直聘爬虫优化、古诗文网深度采集等进阶任务。   

系统化的知识框架+真实的商业案例，让这门课程成为掌握Python爬虫的高效选择。从HTTP协议理解到分布式爬虫部署，课程用精准的难度曲线帮助学员避开自学常见的"碎片化陷阱"。

资源目录列表：

├─【知了课堂】零基础：21天搞定Python分布爬虫 - 带源码课件
│  ├─章节1-爬虫前奏
│  │  ├─001.爬虫前奏_什么是网络爬虫.mp4
│  │  ├─002.爬虫前奏_HTTP协议介绍.mp4
│  │  ├─003.爬虫前奏_抓包工具的使用网络请求.mp4
│  ├─章节2-网络请求
│  │  ├─1_urlopen函数用法.mp4
│  │  ├─2_urlretrieve函数用法.mp4
│  │  ├─3_参数编码和解码函数.mp4
│  │  ├─4urlparse和urlsplit函数用法.mp4
│  │  ├─5实战-用Request爬取拉勾网职位信息.mp4
│  │  ├─6作业-内涵段子爬虫作业.mp4
│  │  ├─7ProxyHandler实现代理ip.mp4
│  │  ├─8cookie原理和格式详解.mp4
│  │  ├─9实战-爬虫使用cookie模拟登录.mp4
│  │  ├─10实战-爬虫自动登录访问授权页面.mp4
│  │  ├─11cookie信息的加载与保存.mp4
│  │  ├─12requests库的基本使用.mp4
│  │  ├─13requests发送post请求.mp4
│  │  ├─14requests使用代理ip.mp4
│  │  ├─15requests处理cookie信息.mp4
│  │  ├─16requests处理不信任的ssl证书.mp4
│  ├─章节3-数据解析
│  │  ├─1xpath介绍和工具安装.mp4
│  │  ├─2xpath语法详解.mp4
│  │  ├─3lxml解析html代码和文件.mp4
│  │  ├─4lxml和xpath结合使用详解.mp4
│  │  ├─5实战-豆瓣电影爬虫.mp4
│  │  ├─6实战-电影天堂爬虫之网页分析.mp4
│  │  ├─7实战-电影天堂爬虫之爬取详情页url.mp4
│  │  ├─8实战-电影天堂爬虫之解析详情页.mp4
│  │  ├─9实战-电影天堂爬虫之爬虫完成.mp4
│  │  ├─10作业-腾讯招聘网爬虫作业.mp4
│  │  ├─11bs4库的基本介绍.mp4
│  │  ├─12bs4库的基本使用.mp4
│  │  ├─13bs4库提取数据详解.mp4
│  │  ├─14css常用选择器介绍.mp4
│  │  ├─15select和css选择器提取元素.mp4
│  │  ├─16bs4库拾遗.mp4
│  │  ├─17实战-中国天气网爬虫之页面分析.mp4
│  │  ├─18实战-中国天气网爬虫之华北城市数据爬取.mp4
│  │  ├─19实战-中国天气网爬虫之所有城市数据爬取.mp4
│  │  ├─20实战-中国天气网爬虫之数据可视化.mp4
│  │  ├─21单字符匹配规则.mp4
│  │  ├─22匹配多个字符.mp4
│  │  ├─23常用匹配小案例.mp4
│  │  ├─24开始结束和或语法.mp4
│  │  ├─25转义字符和原生字符串.mp4
│  │  ├─26group分组.mp4
│  │  ├─27re模块常用函数.mp4
│  │  ├─28实战-古诗文网爬虫实战.mp4
│  │  ├─29作业-糗事百科爬虫作业.mp4
│  ├─章节4-数据储存
│  │  ├─1json字符串介绍.mp4
│  │  ├─2dump成json字符串以及编码问题.mp4
│  │  ├─3load成Python对象.mp4
│  │  ├─4读取csv文件的两种方式.mp4
│  │  ├─5写入csv文件的两种方式.mp4
│  │  ├─6windows下安装MySQL数据库.mp4
│  │  ├─7使用软件和代码连接数据库.mp4
│  │  ├─8使用代码插入数据的两种方式.mp4
│  │  ├─9使用代码查找数据的三种方式.mp4
│  │  ├─10使用代码删除和更新数据.mp4
│  │  ├─11mongodb数据库的安装.mp4
│  │  ├─12mongodb数据库启动和连接.mp4
│  │  ├─13将mongodb制作成服务.mp4
│  │  ├─14mongodb常用概念介绍.mp4
│  │  ├─15mongodb的基本操作命令.mp4
│  │  ├─16python操作mongodb.mp4
│  ├─章节5-爬虫进阶
│  │  ├─1多线程概念和threading模块介绍.mp4
│  │  ├─2使用Thread类创建多线程.mp4
│  │  ├─3多线程共享全局变量以及锁机制.mp4
│  │  ├─4Lock版生产者和消费者模式.mp4
│  │  ├─5Condition版生产者与消费者模式.mp4
│  │  ├─6Queue线程安全队列讲解.mp4
│  │  ├─7实战-下载表情包之同步爬虫完成.mp4
│  │  ├─8实战-下载表情包之异步爬虫完成.mp4
│  │  ├─9GIL全局解释器锁详解.mp4
│  │  ├─10作业-多线程下载百思不得姐段子爬虫作业.mp4
│  │  ├─11ajax介绍和爬取ajax数据的两种方式.mp4
│  │  ├─12selenium+chromedriver安装和入门.mp4
│  │  ├─13selenium关闭页面和浏览器.mp4
│  │  ├─14selenium定位元素的方法详解.mp4
│  │  ├─15selenium操作表单元素.mp4
│  │  ├─16selenium行为链.mp4
│  │  ├─17selenium操作cookie.mp4
│  │  ├─18selenium的隐式等待和显式等待.mp4
│  │  ├─19selenium打开多窗口和切换窗口.mp4
│  │  ├─20selenium使用代理ip.mp4
│  │  ├─21selenium中的WebElement类补充.mp4
│  │  ├─22实战-selenium完美实现拉勾网列表页之爬虫解析.mp4
│  │  ├─23实战-selenium完美实现拉勾网详情页之爬虫解析.mp4
│  │  ├─24实战-selenium完美实现拉勾网爬虫之跑通流程.mp4
│  │  ├─25实战-selenium完美实现拉勾网爬虫之细节处理.mp4
│  │  ├─26作业-使用selenium实现boss直聘爬虫作业.mp4
│  │  ├─27tesseract库介绍.mp4
│  │  ├─28tesseract在终端下识别图片.mp4
│  │  ├─29tesseract代码识别图片.mp4
│  │  ├─30tesseract处理拉勾网验证码.mp4
│  │  ├─32登录12306功能完成.mp4
│  │  ├─33购票信息输入功能完成.mp4
│  │  ├─34自动查询余票功能完成.mp4
│  │  ├─3112306抢票流程分析.mp4
│  ├─章节6-Scrapy
│  │  ├─1scrapy框架架构详解.mp4
│  │  ├─2scrapy框架快速入门.mp4
│  │  ├─3实战-糗事百科之爬虫编写.mp4
│  │  ├─4实战-糗事百科之pipeline保存数据.mp4
│  │  ├─5实战-糗事百科之优化数据存储的方式.mp4
│  │  ├─6实战-糗事百科之抓取多个页面.mp4
│  │  ├─7CrawlSpider讲解.mp4
│  │  ├─8实战-CrawlSpider实现微信小程序社区爬虫.mp4
│  │  ├─9Scrapy_Shell的使用.mp4
│  │  ├─10Request和Response对象讲解.mp4
│  │  ├─11实战-scrapy模拟登录某社交网.mp4
│  │  ├─12实战-scrapy模拟登录豆瓣网.mp4
│  │  ├─13实战-自动识别豆瓣网验证码.mp4
│  │  ├─14实战-汽车之家宝马5系图片下载爬虫（1）.mp4
│  │  ├─15实战-汽车之家宝马5系图片下载爬虫（2）.mp4
│  │  ├─16实战-汽车之家宝马5系图片下载爬虫（3）.mp4
│  │  ├─18下载器中间件讲解.mp4
│  │  ├─19反爬虫-设置随机请求头.mp4
│  │  ├─20反爬虫-开放ip代理池和独享代理配置.mp4
│  │  ├─21实战-攻克BOSS直聘反爬虫之正常爬取.mp4
│  │  ├─22实战-攻克BOSS直聘反爬虫之无限爬取.mp4
│  │  ├─23简书网整站爬虫之页面解析.mp4
│  │  ├─24实战-简书网整站爬虫之保存数据到Mysql.mp4
│  │  ├─25实战-简书网整站爬虫之爬取ajax数据.mp4
│  │  ├─26分布式爬虫介绍.mp4
│  │  ├─27redis介绍.mp4
│  │  ├─28linux下安装redis.mp4
│  │  ├─29windows下redis安装与配置.mp4
│  │  ├─30配置其他机器连接本机redis服务器.mp4
│  │  ├─31redis的字符串操作.mp4
│  │  ├─32redis的列表操作.mp4
│  │  ├─33redis的集合操作.mp4
│  │  ├─34redis的哈希操作.mp4
│  │  ├─36实战-房天下全国658城市房源信息抓取（2）.mp4
│  │  ├─37实战-房天下全国658城市房源信息抓取（3）.mp4
│  │  ├─38实战-房天下全国658城市房源信息抓取（4）.mp4
│  │  ├─39实战-房天下全国658城市房源信息抓取（5）.mp4
│  │  ├─40实战-房天下全国658城市房源信息抓取（6）.mp4
│  │  ├─41实战-房天下全国658城市房源信息抓取（7）.mp4
│  │  ├─实战-房天下全国658城市房源信息抓取（1）.mp4
│  ├─知了课堂爬虫课件.zip