21. Python网络爬虫

• 21.1. 基础语法复习
  • 21.1.1. 变量
  • 21.1.2. 字符串的加法 和 乘法
  • 21.1.3. 字符串的切片和索引
  • 21.1.4. 字符串方法
    • split()方法，根据分隔符将字符串切割为列表
    • replace()方法，可以将字符串中的字符进行替换
    • strip()去掉字符串两边的空格，或者根据特定字符进行去除
    • format()字符串格式化
  • 21.1.5. 函数
  • 21.1.6. 判断语句
  • 21.1.7. 循环语句
  • 21.1.8. Python数据结构
    • 列表
    • 字典
    • 元祖和集合
  • 21.1.9. 文件操作
    • 写文件
    • 读文件
  • 21.1.10. 面对对象
    • 类的初探
    • 实例方法
    • 魔法方法 构造函数__init__
    • 类的继承
• 21.2. Python的网络请求
  • 21.2.1. urllib
    • python2和python3的urllib区别
    • 获取服务响应信息
  • 21.2.2. Downloader下载图片
    • 使用request下载图片
    • 使用urllib下载图片
  • 21.2.3. 总结下载图片的几种方式
  • 21.2.4. urllib3
  • 21.2.5. requests
    • 下载网页使用requests.get()方法
    • 认识Response对象
    • 搜索页特定内容
    • Request伪装成浏览器
    • 存储下载网页
  • 21.2.6. 网络超时
  • 21.2.7. 代理IP
  • 21.2.8. cookie处理
  • 21.2.9. 伪装成浏览器
  • 21.2.10. 获取网页源码的函数
  • 21.2.11. 几个图片爬取的示例
    • 下载搜狗图片示例
  • 21.2.12. 根据输入爬取百度图片
  • 21.2.13. 图片爬虫
  • 21.2.14. 链接爬虫
• 21.3. 爬虫原理
  • 21.3.1. 两种爬虫流程
    • 多页面爬取流程
    • 跨页面的爬取流程
  • 21.3.2. 爬虫的三大库
• 21.4. 我的第一个爬虫程序
  • 21.4.1. requests 库
  • 21.4.2. BeautifulSoup 库
    • 使用BeautifulSoup进行HTML解析
• 21.5. 正则表达式
  • 21.5.1. 一般字符
  • 21.5.2. 预定义字符集
  • 21.5.3. 数量词
  • 21.5.4. 边界匹配
  • 21.5.5. 贪婪匹配和非贪婪匹配
  • 21.5.6. 常用的正则表达式
  • 21.5.7. 正则表达式爬虫示例
• 21.6. re模块的常用方法
  • 21.6.1. re.match()方法
  • 21.6.2. re.serch()方法
  • 21.6.3. re.sub()方法
  • 21.6.4. re.findall()方法
  • 21.6.5. re模块装饰符
    • 示例
• 21.7. Lxml库和Xpath语法
  • 21.7.1. Lxml库的安装
  • 21.7.2. Lxml库的使用
  • 21.7.3. Xpath语法
    • 1.父节点
    • 2.子节点
    • 3.同胞节点
    • 4.先辈节点
    • 5.后代节点
    • 节点的选择
    • 当遇到相同的字符开头的多个标签时。可以通过starts-with()获取多个标签的内容
    • 属性多值匹配
    • 多属性匹配
    • 当遇到嵌套标签的时候，可以通过string(.)完成。如下：
• 21.8. 3种爬虫模式性能对比
  • 21.8.1. 举例1
    • 输出结果
  • 21.8.2. 举例2
    • 总结
• 21.9. 使用API
  • 21.9.1. POST、PUT方法
  • 21.9.2. 解析Json数据
  • 21.9.3. 使用JSON API免费接口查询信息
  • 21.9.4. 使用聚合数据API入口查询菜谱大全
  • 21.9.5. 调用API接口查询天气
  • 21.9.6. 有道词典的API
    • 直接使用网页post访问有道云翻译
    • 查询身份证的API
    • 使用Facebook API收集粉丝专页PO文
    • 爬取煎蛋网的图片下载到本地
  • 21.9.7. 利用翻译API来爬取PEXELS图片
  • 21.9.8. 使用爬取糗事百科用户地址并转为经纬度分析用户数据
• 21.10. 数据的存储
  • 21.10.1. 数据库：Redis篇
  • 21.10.2. 数据库：MongoDB篇
  • 21.10.3. 数据库：MySQL篇
  • 21.10.4. 数据库：SQLite篇
  • 21.10.5. 爬取豆瓣音乐Top250排行的数据存储到MongoDB
  • 21.10.6. 爬取豆瓣电影存入Mysql数据库
• 21.11. 多进程爬虫
  • 21.11.1. 多进程讲解
  • 21.11.2. 多进程中的进程池
  • 21.11.3. 使用队列实现多进程中相互通信
  • 21.11.4. 线程同步
  • 21.11.5. 多线程爬取示例
  • 21.11.6. 爬取简书网热评文章
  • 21.11.7. 抓取瓜子二手车简单示例
  • 21.11.8. 多进程实战 - 转转网二手市场商品信息
• 21.12. 异步加载
  • 21.12.1. 逆向工程
  • 21.12.2. 综合案例1 爬取简书网用户动态信息
• 21.13. 表单交互与模拟登陆
  • 21.13.1. 模拟通过Cookie登录豆瓣
  • 21.13.2. 爬取拉勾网招聘信息
  • 21.13.3. 词云制作
  • 21.13.4. 模拟登陆实战 - 爬取微博信息
• 21.14. Selenium模拟浏览器
  • 21.14.1. Selenium网络爬虫的王者
    • 顺利使用Selenium工具前的安装工作
    • 1. 安装Selenium
    • 2. 安装浏览器
    • 3.驱动程序的安装
    • 用Python控制点选超链接
    • 用Python填写窗体和送出
    • 用Python处理使用网页的特殊按键
    • 用Python处理浏览器运作
  • 21.14.2. Selenium + PhantomJS的配合使用
    • 1. PhantomJS的安装
    • 2. PhantomJS的使用
    • 3.以简书网的某篇文章为例，进行信息的爬取。
  • 21.14.3. PhantomJS实例 - 淘宝商品搜索和翻页
• 21.15. 手写python爬虫
  • 21.15.1. 图片爬虫实战
  • 21.15.2. 链接爬虫实战
• 21.16. python爬虫项目合集
  • 21.16.1. python爬虫项目合集
• 21.17. 案例：爬取中国天气网图片
  • 21.17.1. 使用正则匹配爬取
  • 21.17.2. 使用BeautufulSoup库进行爬取
• 21.18. 案例：爬取小说
  • 21.18.1. 代码示例
• 21.19. 案例：爬取猫眼电影TOP100排行
• 21.20. 使用BeautifulSoup爬取租房信息
  • 21.20.1. 爬取武汉蔡甸地区短租房信息
  • 21.20.2. 爬取深圳地区小猪租房信息
  • 21.20.3. 爬取苏州贝壳工业园区租房信息
• 21.21. 爬取糗事百科内容
• 21.22. 案例：爬取纳斯达克股票数据
• 21.23. 案例：爬取股票网站数据转为json
• 21.24. 案例：爬取豆瓣TOP250的电影和书籍
  • 21.24.1. 案例1：爬取豆瓣TOP250的书籍
    • 思路
    • 把评分为9.0的书籍保存到book_out.csv文件中
  • 21.24.2. 案例2：爬取豆瓣TOP250的影评
• 21.25. 案例：爬取起点中文网数据存到excel中
  • 21.25.1. 思路
• 21.26. 爬取酷狗TOP500的数据
  • 21.26.1. 代码示例
    • 输出结果
  • 21.26.2. 爬取酷狗音乐飙升榜
• 21.27. 案例：爬取今日头条信息(Ajax)