课程背景

我们生活在一个充满数据的时代。
每天,来自商业、社会以及我们的日常生活所产生「图像、音频、视频、文本、定位信息」等各种各样的海量数据,注入到我们的万维网(WWW)、计算机和各种数据存储设备,其中万维网则是最大的信息载体。
数据的爆炸式增长、规模庞大和广泛可用的数据,使得我们真正进入到了“大数据(Big Data)时代”。我们急需功能强大的数据处理技术(Data Technology),从这些海量数据中发现有价值的信息。
网络爬虫(Web Crawler)技术,则成为了当下万维网数据(Web Data)收集中,最为高效灵活的解决方案。

什么是网络爬虫?

百度百科:网络爬虫

获取数据方式主要有哪些?

  • 企业产生的数据:百度搜索指数、腾讯公司业绩数据、阿里巴巴集团财务及运营数据、新浪微博微指数 等…

大型互联网公司拥有海量用户,有天然的数据积累优势,还有一些有数据意识的中小型企业,也开始积累自己的数据。

  • 数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所 等…

在各个数据交易平台上购买各行各业各种类型的数据,根据数据信息、获取难易程度的不同,价格也会有所不同。

  • 政府/机构公开的数据:中华人民共和国国家统计局数据、中国人民银行调查统计、世界银行公开数据、联合国数据、纳斯达克、新浪财经美股实时行情 等…

通常都是各地征服统计上报,或者是行业内专业的网站、机构等提供。

  • 数据管理咨询公司:麦肯锡、埃森哲、尼尔森、中国互联网络信息中心、艾瑞咨询 等…

通常这样的公司有很庞大的数据团队,一般通过市场调研、问卷调查、固定的样本检测、与各行各业的其他公司合作、专家对话来获取数据,并根据客户需求制定商业解决方案。

  • 爬虫爬取网络数据:

如果数据市场上没有需要的数据,或者价格太高不愿意购买,那么可以利用爬虫技术,抓取网站上的数据。

我们需要学习的是:

  1. Python基础语法学习(基础知识)
  2. 对HTML页面的内容抓取(Crawl)
  3. 对HTML页面的数据解析(Parse)
  4. 对解析后的数据进行存储(Save)
  5. 动态HTML的处理/验证码的处理
  6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争….

可选择的IDE和编辑器:

工欲善其事,必先利其器:

IDE:PyCharm、Spyder、Eclipse+PyDev、Visual Studio等

编辑器:Vim、Sublime Text、VSCode、Atom等


Copyright © 黑五电商学院 amzfriday.com all right reserved