取回阶段深分页 取回阶段 查询阶段辨别出那些满足搜索请求的document，但我们仍然需要取回那些document本身。这就是取回阶段的工作，如图分布式搜索的取回阶段所示。 图2 分布式搜索取回阶段 分发阶段由以下步骤构成： 1.协调节点辨别出哪个document需要取回，并且向相关分片发出GET 请求。 2.每个分片加载document并...

为什么要学正则表达式 实际上爬虫一共就四个主要步骤： 明确目标 (要知道你准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用） 我们在昨天的案例里实际上省略了第3步，也就是”取”的步骤。因为我们down下了的数据是全部的网页，这些数据很庞大并且很混乱，大部分的...

并发下载多线程和多进程回顾threading.local类 concurrent.futures模块 分布式进程 协程和异步I/O协程的概念 历史回顾 示例代码 倒计数生成器 生成器 - 数据生产者 协程 - 数据消费者实例 - 多线程爬取“手机搜狐网”所有页面 并发下载 多线程和多进程回顾 在前面的《进程和线程》一文中，我们已经对在Pytho...

Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面...

解析动态内容JavaScript逆向工程 使用Selenium 解析动态内容 根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们之前用的抓取数据的方式无法正常运转了。解决这样的问题基本上有两种...

第五章 自动化扫描简介 5.1 使用 Nikto 扫描操作步骤 工作原理 5.2 使用 Wapiti 发现漏洞操作步骤 工作原理 5.3 使用 OWASP ZAP 扫描漏洞准备 操作步骤 工作原理 更多 5.4 使用 w3af 扫描操作步骤 工作原理 更多 5.5 使用 Vega 扫描器操作步骤 工作原理 5.6 使用 Metasploit 的 W...

面试中的公共问题计算机基础 Python基础 Django和Flask 爬虫相关 数据分析 项目相关 面试中的公共问题 计算机基础 TCP/IP模型相关问题。 建议阅读阮一峰的《互联网协议入门（一）》和《互联网协议入门（二）》。 HTTP和HTTPS相关问题。 建议阅读阮一峰的《HTTP 协议入门》和《SSL/TLS协议运行机制的概...

7.3 正则处理通过正则判断是否匹配 通过正则获取内容 links 7.3 正则处理 正则表达式是一种进行模式匹配和文本操纵的复杂而又强大的工具。虽然正则表达式比纯粹的文本匹配效率低，但是它却更灵活。按照它的语法规则，随需构造出的匹配模式就能够从原始文本中筛选出几乎任何你想要得到的字符组合。如果你在Web开发中需要从一些文本数据源中获取数据,那么你只需...

目标 掌握chrome在爬虫中的使用 ：） 1. 新建隐身窗口 1.1 为什么需要新建隐身窗口 在打开隐身窗口的时候，第一次请求某个网站是没有携带cookie的，和代码请求一个网站一样，不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果；除非数据是通过js加载出来的，不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的 ...

常见反爬策略及应对方案 常见反爬策略及应对方案 构造合理的HTTP请求头。 Accept User-Agent - 三方库fake-useragent from fake_useragent import UserAgent ua = UserAgent () ua . ie # Mozilla/5.0 (Win...