通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 就是 捜索引擎抓取系统，目的是将互联网上的所有的网页下载到本地，形成一个互联网内容的镜像备份。 它决定着整个搜索引擎内容的丰富性和时效性，因此它的性能优劣直接影响着搜索引擎的效果。 通用搜索引擎（Search Engine）工作原理 ...

快速入门 环境准备 快速初始化 逐步搭建初始化项目 编写 Controller 静态资源 模板渲染 编写 service 编写扩展 编写 Middleware 配置文件 单元测试 后记 快速入门 本文将从实例的角度，一步步地搭建出一个 Egg.js 应用，让你能快速的入门 Egg.js。 环境准备 操作系统：支持 macOS，Linux，Wind...

通道用例大全将通道用做future/promise返回单向接收通道做为函数返回结果 将单向发送通道类型用做函数实参 采用最快回应 更多“请求/回应”用例变种 使用通道实现通知向一个通道发送一个值来实现单对单通知 从一个通道接收一个值来实现单对单通知 多对单和单对多通知 通过关闭一个通道来实现群发通知 定时通知（timer） 将通道用做互斥锁（mutex）...

灰盒扫描工具安装或升级扫描器 配置管理后台 配置并启动扫描器 IAST 控制台URL 白名单 扫描并发速率控制 FAQ1. 目前支持哪些漏洞的检测？ 2. 调试日志说明 3. 常见错误说明 4. 找不到 openrasp-iast 命令 5. 在 IAST 控制台清空或删除任务之后，原先的漏洞无法再次检出 6. IAST 控制台看不到任务 灰盒扫描...

网络爬虫工作过程可以理解为模拟浏览器操作的过程，浏览器的主要功能是向服务器发出请求，在浏览器窗口中展示服务器返回的网络资源。 一、浏览器处理网页的过程 我们先来看一下浏览网页的基本过程，比如我们在浏览器地址栏输入：http://www.baidu.com 回车后会浏览器会显示百度的首页。 这段网络通信过程中到底发生了什么？简单来说这段过程发生了以下...

Apache Hadoop 简介 Apache Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。 Apache Hadoop 框架，允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展，充分利用...

基于给定的文档生成倒排索引的编码与实践引言 第一节、索引的构建方法 第二节、Hash表的构建与实现 第三节、倒排索引文件的生成与实现 第四节、程序需求功能的改进对相同日期与不同日期的处理 为关键词添上编码 第五节、算法的二次改进省去二次Hash 除去排序，针对不同日期的记录直接插入 基于给定的文档生成倒排索引的编码与实践 作者：July、yansh...

架构解耦从 MVC 到微服务Django MTV 微服务与 Reactive CQRSCQS 编辑-发布分离 编辑-发布-开发分离 CQRS 结合微服务Nginx as Dispatcher CQRS 结合微服务 架构解耦 解耦是一件很有意思的过程，它也能反应架构的变迁。 从 MVC 到微服务 在我初识架构是什么的时候，我看到了 MVC 模式...

第四章 漏洞发现简介 4.1 使用 Hackbar 插件来简化参数分析准备 操作步骤 工作原理 4.2 使用 Tamper Data 插件拦截或修改请求操作步骤 工作原理 4.3 使用 ZAP 来查看和修改请求准备 操作步骤 工作原理 4.4 使用 Burp Suite 查看和修改请求准备 操作步骤 工作原理 4.5 识别跨站脚本（XSS）漏洞操作...

使用正则表达式正则表达式相关知识 Python对正则表达式的支持例子1：验证输入用户名和QQ号是否有效并给出对应的提示信息。 例子2：从一段文字中提取出国内手机号码。 例子3：替换字符串中的不良内容 例子4：拆分长字符串 后话 使用正则表达式 正则表达式相关知识 在编写处理字符串的程序或网页时，经常会有查找符合某些复杂规则的字符串的需要，正则表达式...