在学习Python爬虫部分,需要你已经学过Python基础和前端的相关知识。
开发环境介绍:
window10 操作系统 Python解释器3.8 集成开发环境pycharm数据的来源及作用
数据的来源有哪些?
用户产生的数据: 百度指数 政府统计的数据: 政府数据 数据管理公司: 聚合数据 自己爬取的数据: 爬取网站上的某些视频数据的作用
数据分析 智能产品的练习数据 其他(比如买卖)爬虫的相关概念
a) 爬虫的概念
爬虫就是应用程序,从网上下载各种各样的资源。
换句话说就是使用编程语言编写一个用于爬虫web或者app的数据应用程序。
怎么爬取数据呢?
爬虫什么数据都可以爬吗?
当然不能,需要遵守一定的规则和协议
可以看一下京东的:
有些是允许的,有些是不允许的。
b) 爬虫分类
通用爬虫百度等搜索引擎,从一些初始的URL扩展到整个网站,主要为门户站点搜索引起和大型网站服务采集数据
聚焦网站爬虫主题网络爬虫,选择性爬取根据需求相关的页面的网络爬虫
增量式网络爬虫对已经下载的页面采取更新知识和只爬新产生的。
c) 爬虫的原理
通用的爬虫原理