• 区块链
    • 前言
    • 源码
    • 类图
    • 流程图
    • 解读
      • 1.区块链是什么?
      • 2.区块链的特点
      • 3.区块链开发应该解决的问题
      • 4.亿书区块链数据库设计
      • 5.亿书区块链实现
  • 总结
  • 链接
  • 参考

    区块链

    前言

    亿书,是一款加密货币产品,用时髦的话说,更是一款实用的区块链产品。那么,区块链是什么?有那些特点?最近,以太坊硬分叉事件给了我们很多启示,能不能彻底杜绝区块链分叉行为?这一章,我们通过认真阅读和理解亿书相关的代码逻辑,来详细解释和说明这些问题,以便更加深入的了解和学习这项技术。

    源码

    blocks.js https://github.com/Ebookcoin/ebookcoin/blob/v0.1.3/modules/blocks.js

    block.js https://github.com/Ebookcoin/ebookcoin/blob/logic/block.js

    loader.js https://github.com/Ebookcoin/ebookcoin/blob/v0.1.3/modules/loader.js

    类图

    blocks-class.png

    流程图

    blocks-activity.png

    解读

    1.区块链是什么?

    这里的区块链指狭义的区块链,是一种自引用的数据结构,可以存储成文件形式,不过多数产品存储在一个数据库中,比如比特币使用Google的LevelDB数据库存储。详细的概念解析,请看第一部分《区块链架构设计简介》,有助于更好的理解区块链概念。

    (1)从数据库设计角度理解区块链

    用数据库的概念理解,区块链就是一张“自引用”的数据库表。每条记录代表一个区块,这条记录(区块)记录着它前面(时间上)一条记录的信息,可以直接查询到前一条记录,因此从任何一条记录开始都可以往前顺序追溯,直到第一条记录。普通自引用表结构,通常使用ID作为关联外键,加密货币使用的是经过加密处理的信息字段,具有签名认证作用,可实现自我验证,防止被篡改。

    与区块链直接关联的另一张重要的表,就是交易表。加密货币包含大量的交易,我们之前分析过,交易可以是加密货币,也可以是债权、股权或版权等各类数字资产,这些交易保存在一张独立表里,并与区块链形成多对一的关联方式。如此以来,只要追溯到区块,就很容易查询到该区块包含的交易记录。这样,一个公开透明、无法篡改、方便追溯的账本就形成了。

    上面是从数据库查询(读数据)的角度考虑的,如果从写入的角度思考,就更有意思了。写入是要根据需求不同进行不同的编码,我们前面的章节说过,加密货币的各种功能都可以通过扩展交易类型进行编码,如果把一些现实中的合同规则进行编码,要求系统在某个条件下自动执行(写入或更新)某交易,自然也是件简单轻松的事情,这就是“智能合约”的简单理解。

    我们在第一部分提到过“智能合约”的概念,在这里再次提及,作为程序员能够更加直观的去理解编码上的可行性。“智能合约”也是目前加密货币社区讨论火热的概念,可以发挥你想象的翅膀,从加密货币扩展到现实世界的各种场景,比如:自动贩卖机、销售终端、大公司间的电子数据交换、银行间用于转移与清算的支付网络,以及音乐、电影和电子书等数字版权交易等。

    (2)形象化理解区块链

    人们通常把具有先后顺序的数据结构,使用栈来表示,比特币白皮书把这种结构进一步形象化,第一个区块作为栈底,然后其他区块按照时间顺序依次堆叠在上面,这样一来,区块与首区块之间的距离就表示“高度”,“顶端”就表示最新添加的区块。每个区块包含大量交易,就是包含在对应栈里的数据。我们可以把这样的结构想象成一个大大的橱柜,区块就是其中一个抽屉,每个抽屉里是满满的交易,就象下面这样:

    stack-drawers.png

    (3)区块链分叉

    物理分叉。每一个区块都与它的前一区块(父区块)关联,而对它后面的区块(子区块)无限制,也就是说最顶端的区块,肯定知道它的父区块(已经写入区块链),但不知道子区块(或许还没有产生,也可能在传输的过程中)。我们知道,从物理层面,数据库、硬盘、网络的IO操作是最耗费时间的,在某一个时刻,多个最新区块同时找到父区块是很常见的现象,这就必然导致区块链分叉(从主链向多个方向发展)。这是在同一个软件版本(及其兼容版本)的情况下发生的,没有人为干预,不妨叫做物理分叉。

    显然,物理分叉取决于物理环境,这与什么样的共识机制没有直接关系,不论是采取工作量证明机制(PoW)的比特币、还是采取股权证明机制(PoS)的点点币,亦或是这里采取授权股权证明机制(DPoS)的亿书币,都是如此。为了保持区块链的单一链条,解决分叉的最简单方式就是放任每个分叉继续增长,通常在下一刻就会出现差别,这时候软件选择最长的那个链条作为主链即可。在具体的设计开发过程中,这也是一个逻辑相对复杂的难点。

    人为分叉。那么,如果存在人的干预,会怎么样呢?我们知道,世界上没有绝对完美的东西,人类开发设计的软件也不例外,漏洞是常有的,看看微软的windows系统时不时跳出来的漏洞修复提醒,就知道这类事情多么常见。而且,人类的需求始终在变化,软件要不断推出新功能来应对。所以,软件出现漏洞,或者添加新的功能,这类情况是再正常不过的事情。这时候,旧版本的软件对新版本软件产生的区块可能出现兼容性问题,甚至需要人为改变区块链的走向,这就导致新旧版本之间出现分叉,不妨叫做人为分叉。

    很显然,人为分叉也是无法避免的事情。你可能认为很简单,有漏洞就修复吧,有新功能加上就得了,有什么好解释的。事实上,加密货币核心是交易,是价值转移的手段,规则的改变直接关系到所有持币人的利益。我们在第一部分说过,人是趋利的,要追求利益最大化,新功能能否保护用户的利益,还是代表了少部分利益集团的意志,应该如何约束和决策,这已经不单单是一个技术问题,更多的是社区政治问题,需要社区共同参与。历史证明,承载了较大资金盘的加密货币,在某一次分叉过程中,个别用户或矿工没有及时更新软件,就造成了直接经济损失。所以,每一个持币用户都非常关心任何一次分叉行为,都有可能站出来表达自己的意愿,甚至选择留在旧链上。

    硬分叉和软分叉。它们都属于人为分叉,孰优孰劣也是当前社区分歧比较严重的问题。最初,社区区分这两个概念的简单方法就是,“硬分叉”是与旧版本的兼容度不高,但是获得了社区共识的规则明确的分叉行为,“软分叉”恰恰相反。发展到今天,只要是明确的“分叉”行为,大家都会寻求社区共识,所以二者的区别主要集中在软件兼容问题上了。这里的社区共识,是指包括软件开发者、矿工和使用者在内的整个软件社区,采取投票等方式,获得最大程度的一致性意见,通常是90%以上的社区成员同意就认为是达成了社区共识。比如最近以太坊为了应对The Dao遭受黑客攻击而实施的紧急硬分叉,就获得了社区87%的同意(接近90%,这里不讨论这次分叉行为的好坏)。

    从技术角度讲,这里所谓的“硬”,主要体现在与旧版本的不兼容(或少量兼容)上,属于抛弃旧版本的行为,如果用户不升级软件,就永远留在旧链上,感觉上更加强硬得多。“软分叉”,最大程度的保持了对以前版本的兼容性,做得好的话,多个版本可以同时运行,类似于正常的版本迭代升级,用户可以自由选择是否升级。有人说“硬分叉”是很糟糕的事情,另一些人认为“软分叉”风险更大。事实证明,只要准备充分,操作得当,无论是“硬分叉”,还是“软分叉”,都不可怕,只不过“软分叉”在编码中需要考虑的情况更加复杂,对用户的影响较为隐蔽。

    我个人不喜欢谈政治,但是作为交易媒介的新兴产物——加密货币,天生就是政治的附属品。这些货币的持续发展,往往是不同利益团体(包括开发者、矿工和用户)之间不断博弈的结果。最初是开发者主导,某个时期矿工的力量更加强大,后期用户的力量就不容忽视。也正是这些力量之间的制衡,才让加密货币相对持续稳健的发展,当这三种力量达到均衡的时候,就是这个加密货币相对成熟的时候。最近,以太坊硬分叉处理Dao遭受的黑客攻击事件,搅动了整个加密货币社区,不同利益者发出不同的声音,这是好事,充分说明加密货币仍处在初级阶段,还有很长的路要走。

    2.区块链的特点

    我们可以按照堆栈的方式理解数据结构,并采用自引用的关联方式设计数据库模型,但是做到这些,我个人认为并不代表就是区块链了,它还必须使用加解密技术,被置于去中心化的网络,由P2P网络节点共同维护,才能称得上区块链。当然,也有人持不同观点,他们认为一个中心化的应用,如果使用类似的数据结构,会更加安全(比不使用该结构的中心化系统),同时可以避免分叉,性能或许更高(比去中心化的系统),但事实上没有了P2P网络的支撑,这点改进算不上什么。我们之前分析过,P2P网络本身就是一条非常好的安全屏障,单点被攻击或被破解,对整个网络系统没有太大伤害,而任何中心化的系统仅仅相当于单节点,安全性大大降低。所以,为了那些许的性能改进,却要牺牲更好的安全性,有点得不偿失。

    汇总以上信息,区块链应该具备这样几个特点:

    • 分布存储:区块链处于P2P网络之中,无论什么公链、私链,还是联盟链,都要采取分布式存储,使用一种机制保证区块链的同步和统一;
    • 公开透明:每个节点都有一个区块链副本,区块链本身没有加密,数据可以任意检索和查询,甚至可以修改(改了也没用);
    • 无法篡改:这是加密技术的巧妙应用,每一区块都会记录前一区块的信息,并实现验证,确保无法篡改。这里的无法篡改不是不能改,而是局部修改的数据,无法通过验证,要想通过验证,必须修改整个区块链,这在理论上可行,操作上不可行;
    • 方便追溯:区块链是公开的,从任一区块都可以向前追溯,直到第一个区块,并通过区块查到与之关联的全部交易;
    • 存在分叉:这是由P2P网络等物理环境,以及软件开发实践过程决定的,人们无法根本性杜绝。

    也正是因为这样的特点,区块链的概念才逐渐火爆起来。实践证明,区块链技术能实现一切中心化应用的场景,可以解决(或更好的解决)很多中心化应用无法解决的问题,比如分布式财务管理、分布式存储、知识产权保护、电子商务,乃至物联网,特别是对于金融业而言,资金清算、审计等等,成本会大幅度降低。亿书,就是利用它公开透明、可追溯的特点,与数字出版结合起来,实现自媒体和版权保护,彻底解决当前数字出版版权保护不力的顽疾。

    3.区块链开发应该解决的问题

    明白区块链是什么和基本原理之后,就可以着手设计其基本功能了。从需求的角度说,设计中需要做到如下几点:

    (1)加载区块链。确保本地区块链合法,未被篡改。

    • 保存创世区块
    • 加载本地区块
    • 验证本地区块

    (2)处理新区块。加载后,该节点就可以处理网络中的交易了。

    • 创建新区块;
    • 收集整理交易,写入(关联)区块;
    • 把新产生的区块写入区块链;
    • 处理区块链分叉。

    (3)同步区块链。确保本地区块链与网络中完整的区块链同步。

    下面,我们从数据库设计出发,分别研读相关代码,认真讨论亿书区款链是如何运作的。

    4.亿书区块链数据库设计

    亿书使用SQLite数据库,与区块链相关的数据库结构如图:

    blocks-database.png

    blocks表是区块链,trs表是各种交易,forks_stat表代表分叉状态。从关联关系上看,blocks首先是一个自引用表,使用previousBlock关联;与trs是一对多的关系,一条记录关联多条交易;与forks_stat也是一对多的关系,意思是有分叉。

    5.亿书区块链实现

    这里按照上面提到的开发区块链要解决的问题,逐一对照,查看亿书技术实现。

    (1)保存创世区块

    创世区块是硬编码到客户端程序里的,会在客户端运行的时候,直接写入数据库。这样做的好处是保证每个客户端都有一个安全、可信的区块链的根。

    1. // modules/blocks.js
    2. // 78行
    3. function Blocks(cb, scope) {
    4. library = scope;
    5. // 80行
    6. genesisblock = library.genesisblock;
    7. self = this;
    8. self.__private = privated;
    9. privated.attachApi();
    10. // 85行
    11. privated.saveGenesisBlock(function (err) {
    12. setImmediate(cb, err, self);
    13. });
    14. }

    这是modules/blocks.js模块的构造函数,在入口程序app.js运行的时候,直接创建该模块的实例,85行的代码privated.saveGenesisBlock方法直接运行。如果已经运行过,该方法就会返回,什么都不做。如果第一次运行,该方法就会直接保存创世区块(80行的genesisblock),接着调用266行的privated.saveBlock()方法(不再粘贴),把创世区块记录(包括交易)保存到数据库。

    这是一个非常典型的区块创建过程,我们可以借机会看看一个区块(创世)的数据是什么样的:

    1. // genesisBlock.json 文件
    2. {
    3. "version": 0,
    4. // 3行
    5. "totalAmount": 10000000000000000,
    6. "totalFee": 0,
    7. "reward": 0,
    8. "payloadHash": "1cedb278bd64b910c2d4b91339bc3747960b9e0acf4a7cda8ec217c558f429ad",
    9. "timestamp": 0,
    10. "numberOfTransactions": 103,
    11. "payloadLength": 20326,
    12. "previousBlock": null,
    13. "generatorPublicKey": "b7b46c08c24d0f91df5387f84b068ec67b8bfff8f7f4762631894fce4aff6c75",
    14. // 1757行
    15. "height": 1,
    16. "blockSignature": "2985d896becdb91c283cc2366c4a387a257b7d4751f995a81eae3aa705bc24fdb950c3afbed833e7d37a0a18074da461d68d74a3a223bc5f8e9c1fed2f3fec0e",
    17. "id": "8593810399212843182"
    18. // 12行。为了方便阅读,这里把关联的交易信息排版在最后位置
    19. "transactions": [
    20. {
    21. "type": 0,
    22. // 15行
    23. "amount": 10000000000000000,
    24. "fee": 0,
    25. "timestamp": 0,
    26. "recipientId": "6722322622037743544L",
    27. "senderId": "5231662701023218905L",
    28. "senderPublicKey": "b7b46c08c24d0f91df5387f84b068ec67b8bfff8f7f4762631894fce4aff6c75",
    29. "signature": "aa413208c32d00b89895049ff21797048fa41c1b2ffc866900ffd97570f8d87e852c87074ed77c6b914f47449ba3f9d6dca99874d9f235ee4c1c83d1d81b6e07",
    30. "id": "5534571359943011068"
    31. },
    32. {
    33. "type": 2,
    34. ...
    35. },
    36. ...
    37. {
    38. "type": 3,
    39. ...
    40. }
    41. ...
    42. ]
    43. }

    这些字段,我们在上面的数据库表里已经列出,下面看看几个关键数据:

    3行:在创世区块设定初始代币总量,这里是1亿;
    1757行:创世区块高度为1;
    12行:区块必须包含交易,这里是3种类型的交易,之前分析过,它们分别是转账交易、受托人交易和投票交易。第1个转账交易,把初始区块的代币全部转到了另一个账户,这在实际的生产环境,特别是在ICO(预售)之后,可以直接转给参与众筹的实际用户。所以,创世区块有其非常实际的意义。其它两种交易,是支撑亿书共识机制的。

    (2)加载本地区块

    任何节点,都需要先加载验证本地区块链,确保没有被篡改。这个加载过程是软件初始化过程中的一部分,开发中不需要与网络节点联网等其他问题纠缠在一起。因此,代码需要被放在入口文件中去执行。我们在《入口程序app.js解读》一章里解读了app.js文件,但并不详细,仅仅梳理了程序的大致流程。这里重新提及,专注于区块链加载验证的问题,这在具体开发过程中,是很正常的增量开发的思路。

    1. // app.js文件
    2. ...
    3. ready: ['modules', 'bus', function (cb, scope) {
    4. // 435行
    5. scope.bus.message("bind", scope.modules);
    6. cb();
    7. }]

    app.js文件 435行: 触发了“bind”事件(这是自定义的事件处理机制,请参考开发实践中关于事件循环的部分章节),会执行所有模块里的“onBind()”方法。该方法运行之前,各个模块仅仅被实例化,处于待命状态,所以“bind”事件是激活各模块的重要事件,是继各模块构造函数运行之后的关键方法(具体流程,请参考本部分第一章,模块的加载流程图)。大部分模块里的“onBind()”方法仅仅用来初始化某个变量,唯独loader.js模块,执行了下面的代码:

    1. // modules/loader.js文件
    2. Loader.prototype.onBind = function (scope) {
    3. modules = scope;
    4. // 534行
    5. privated.loadBlockChain();
    6. };

    modules/loader.js文件 534行: privated.loadBlockChain() 方法就是用来加载区块链的,内容如下:

    1. // modules/loader.js文件
    2. privated.loadBlockChain = function () {
    3. var offset = 0, limit = library.config.loading.loadPerIteration;
    4. var verify = library.config.loading.verifyOnLoading;
    5. // 357行,闭包
    6. function load(count) {
    7. verify = true;
    8. privated.total = count;
    9. library.logic.account.removeTables(function (err) {
    10. if (err) {
    11. throw err;
    12. } else {
    13. library.logic.account.createTables(function (err) {
    14. if (err) {
    15. throw err;
    16. } else {
    17. // 369行
    18. async.until(
    19. function () {
    20. return count < offset;
    21. }, function (cb) {
    22. library.logger.info('Current ' + offset);
    23. setImmediate(function () {
    24. modules.blocks.loadBlocksOffset(limit, offset, verify, function (err, lastBlockOffset) {
    25. if (err) {
    26. return cb(err);
    27. }
    28. // 380行
    29. offset = offset + limit;
    30. privated.loadingLastBlock = lastBlockOffset;
    31. cb();
    32. });
    33. });
    34. }, function (err) {
    35. ...
    36. // 398行
    37. library.logger.info('Blockchain ready');
    38. library.bus.message('blockchainReady');
    39. }
    40. }
    41. ...
    42. }
    43. // 408行
    44. library.logic.account.createTables(function (err) {
    45. if (err) {
    46. throw err;
    47. } else {
    48. library.dbLite.query("select count(*) from mem_accounts where blockId = (select id from blocks where numberOfTransactions > 0 order by height desc limit 1)", {'count': Number}, function (err, rows) {
    49. ...
    50. var reject = !(rows[0].count);
    51. modules.blocks.count(function (err, count) {
    52. ...
    53. if (reject || verify || count == 1) {
    54. // 428行
    55. load(count);
    56. } else {
    57. // 其他情况,请查看源码
    58. ...
    59. };

    408行:将调用logic/account.js文件的createTables()方法,创建与用户相关的帐号信息表,全部以“mem_”开头,主要包括“mem_accounts”,“mem_accounts2contacts”,“mem_accounts2u_contacts”,“mem_accounts2delegates”,“mem_accounts2u_delegates”,“mem_accounts2multisignatures”,“mem_accounts2u_multisignatures”,“mem_round”等7个表。这些信息与用户相关,不需要被其他节点同步。

    如果是新客户端,数据库为初始创建,创世区块第一次写入,count == 1,会立刻调用闭包load()函数(428行),加载验证缺失的区块。我们先不考虑其他情况,直接看357行的load()函数,可以发现该函数先删除帐号表格(removeTables),然后重建(createTables),并通过“async.until”方法(369行)进行循环加载区块链数据,具体方法是 modules/blocks.js的loadBlocksOffset()。当 count < offset 返回 “true” 的时候,循环结束,区块链数据同步完毕,然后触发 “blockchainReady” 事件(398行)。

    这里的 “Offset” 不是分页数据,而是一次加载的区块数量,这样做的好处是避免一次性加载全部区块链,导致数据请求量过大,影响计算机性能。这个值最大是 limit 的值(380行),limit 等于 “config.json” 文件设定的全局变量 loading.loadPerIteration。用户可以修改该配置文件,在启动软件时通过命令行参数“-c”选择自己的配置文件,从而实现定制。如下:

    1. // config.json文件
    2. // 132行
    3. "loading": {
    4. "verifyOnLoading": false,
    5. "loadPerIteration": 5000
    6. }

    (3)验证本地区块

    上面说到 modules/blocks.js 的 loadBlocksOffset() 方法才是处理加载的具体方法,也是验证的方法所在。

    1. // modules/blocks.js文件
    2. Blocks.prototype.loadBlocksOffset = function (limit, offset, verify, cb) {
    3. ...
    4. library.dbSequence.add(function (cb) {
    5. library.dbLite.query("SELECT " +
    6. ...
    7. async.eachSeries(blocks, function (block, cb) {
    8. async.series([
    9. function (cb) {
    10. if (block.id != genesisblock.block.id) {
    11. if (verify) {
    12. // 627行 追溯区块
    13. if (block.previousBlock != privated.lastBlock.id) {
    14. return cb({
    15. message: "Can't verify previous block",
    16. block: block
    17. });
    18. }
    19. try {
    20. // 635行 验证块签名
    21. var valid = library.logic.block.verifySignature(block);
    22. }
    23. ...
    24. if (!valid) {
    25. return cb({
    26. message: "Can't verify signature",
    27. block: block
    28. });
    29. }
    30. // 650行 验证块时段(Slot)
    31. modules.delegates.validateBlockSlot(block, function (err) {
    32. ...
    33. }, function (cb) {
    34. // 先给交易排序,让投票或签名交易排在前面
    35. ...
    36. async.eachSeries(block.transactions, function (transaction, cb) {
    37. if (verify) {
    38. modules.accounts.setAccountAndGet({publicKey: transaction.senderPublicKey}, function (err, sender) {
    39. ...
    40. if (verify && block.id != genesisblock.block.id) {
    41. // 690行 验证交易
    42. library.logic.transaction.verify(transaction, sender, function (err) {
    43. ...
    44. });
    45. } else {
    46. setImmediate(cb);
    47. }
    48. }, function (err) {
    49. if (err) {
    50. // 如果出现错误,要回滚
    51. async.eachSeries(transactions.reverse(), function (transaction, cb) {
    52. async.series([
    53. function (cb) {
    54. modules.accounts.getAccount({publicKey: transaction.senderPublicKey}, function (err, sender) {
    55. ...
    56. modules.transactions.undo(transaction, block, sender, cb);
    57. });
    58. }, function (cb) {
    59. modules.transactions.undoUnconfirmed(transaction, cb);
    60. }
    61. ...
    62. };

    逐个加载区块,并验证:

    627行:追溯前一区块,无法追溯自然是不正确的。

    635行:验证块签名,防止块内容被篡改。建议认真阅读该行调用的签名验证方法“verifySignature()”(在“logic/block.js”文件的150行,请去源码库查看),这应该是对二进制数据(这里是区块数据)进行签名验证的典型用法。验证失败,就要终止整个循环,删除该块及其以后的块。

    650行:验证块时段(Slot),防止块位置被篡改。实际上是变相验证了区块的高度及其时间戳(相关技术请看开发实践部分《关于时间戳及相关问题》的讨论)。亿书网络按照一定的周期循环(具体请参看《DPOS机制》),每一个块都可以根据其高度计算出它的出块时段,这与它的时间戳是对应的,这就锁定了区块位置,不然就是有问题。为什么要选择验证块时段,而不是简单直接的高度或时间戳?这是因为区块链有分叉的情况,相同高度存在多个块和时间戳,但相同的块时段却只能是一个。

    690行:验证交易。具体流程请参考《交易》一章的相关内容。

    (4)创建新区块

    上面从设计的角度,正向提供了一种实现的思路。这里,我们反向阅读代码,不再思考为什么,仅仅查看是什么,体会一下读代码是多么简单的事情。注意的是,流程图需要反向查看。按照模块设计的基本原则,处理区块链的代码,都应该集中在“modules/blocks.js”文件里,所以,我们很容易就能找到创建新区块的代码“generateBlock()”方法,如下:

    1. // modules/blocks.js文件
    2. // 1126行
    3. Blocks.prototype.generateBlock = function (keypair, timestamp, cb) {
    4. // 1127行 获取未确认交易,并再次验证,放入一个数组变量里备用
    5. var transactions = modules.transactions.getUnconfirmedTransactionList();
    6. var ready = [];
    7. async.eachSeries(transactions, function (transaction, cb) {
    8. ...
    9. ready.push(transaction);
    10. ...
    11. }, function () {
    12. try {
    13. // 1147行
    14. var block = library.logic.block.create({
    15. keypair: keypair,
    16. timestamp: timestamp,
    17. previousBlock: privated.lastBlock,
    18. transactions: ready
    19. });
    20. } catch (e) {
    21. return setImmediate(cb, e);
    22. }
    23. // 1157行
    24. self.processBlock(block, true, cb);
    25. });
    26. };

    该方法很简单,1127行:获取未确认交易,并再次验证,放入一个数组变量“ready”里备用。从这里的处理方法可知道,与亿书区块关联的交易并没有实现比特币那样复杂的处理方法。比特币区块链中的所有交易,以二叉树(Merkle)表示,对于存储、维护、查询、验证交易都有很多便利。亿书目前的代码没有这样的优势,将在以后的版本中优化添加。

    1147行:把整理好的数据组合成块数据结构(具体形式,类似于前面的创世区块),这里因为是新建数据,重要的是keypair、timestamp、previousBlock、transactions等四个字段信息。其他字段,诸如:totalFee、reward、payloadHash等,会在“processBlock()”(1157行)执行时处理。

    这里的keypair、timestamp字段是该方法的参数,需要在调用的地方传入。我们查询代码发现,仅在“modules/delegates.js”文件里调用了该方法,其方法是“loop”,很显然该方法就是产生区块的入口方法,如下:

    1. // modules/delegates.js
    2. // 492行
    3. privated.loop = function (cb) {
    4. ...
    5. var currentSlot = slots.getSlotNumber();
    6. var lastBlock = modules.blocks.getLastBlock();
    7. ...
    8. // 511行
    9. privated.getBlockSlotData(currentSlot, lastBlock.height + 1, function (err, currentBlockData) {
    10. ...
    11. library.sequence.add(function (cb) {
    12. if (slots.getSlotNumber(currentBlockData.time) == slots.getSlotNumber()) {
    13. // 519行
    14. modules.blocks.generateBlock(currentBlockData.keypair, currentBlockData.time, function (err) {
    15. ...
    16. });
    17. ...
    18. };

    去掉一些必要的判断,其实真正调用的时候,还是非常简单的。看上面“loop”方法,真正与“modules/delegates.js”模块关联的调用,是“privated.getBlockSlotData()”方法(470行),该方法从名字上理解就是获得块时段数据,为区块提供了密钥对和时间戳。由于是私有方法,可以猜想该方法一定与受托人有关系,让我们了解一下:

    1. // modules/delegates.js
    2. // 470行
    3. privated.getBlockSlotData = function (slot, height, cb) {
    4. self.generateDelegateList(height, function (err, activeDelegates) {
    5. ...
    6. for (; currentSlot < lastSlot; currentSlot += 1) {
    7. var delegate_pos = currentSlot % constants.delegates;
    8. var delegate_id = activeDelegates[delegate_pos];
    9. if (delegate_id && privated.keypairs[delegate_id]) {
    10. return cb(null, {time: slots.getSlotTime(currentSlot), keypair: privated.keypairs[delegate_id]});
    11. }
    12. }
    13. cb(null, null);
    14. });
    15. };

    从代码可以看出,该方法先获得可以生产区块的受托人列表,然后根据当前时段信息找到激活的受托人标识,继而找到对应的密钥对,所以这个密钥对是与特定时段的特定受托人相关的。

    接下来,要运行“privated.loop()”方法才可以实现新建区块的操作,所以继续搜索代码,我们很轻松找到:

    1. // modules/delegates.js
    2. // 735行
    3. Delegates.prototype.onBlockchainReady = function () {
    4. privated.loaded = true;
    5. privated.loadMyDelegates(function nextLoop(err) {
    6. // 743行
    7. privated.loop(function () {
    8. setTimeout(nextLoop, 1000);
    9. });
    10. ...

    这是 “onBlockchainReady” 事件方法,上面分析了,当本地区块链加载完毕,就会调用该方法,也就是说,当区块链加载验证完毕,就可以创建新区块了。这里设定每秒钟(744行1000毫秒)调用一次“privated.loop()”方法,但是因为slot的限制,实际运行起来是每10秒产生一个块。

    我们在上面的分析中知道,在同步缺失区块操作之前,还有一个更新节点信息的过程,这么一来,本地区块链加载完毕,创建新区块要比同步缺失的区块要早。这可以最大程度上保证节点创建区块的奖励,并让节点最大程度的服务亿书网络,当然,也增加了同步区块操作的难度。

    (5)产生区块链分叉

    具体到编码,区块链什么时候产生分叉?显然应该在新区块写入区块链的时候,也就是modules/blocks.js文件的1157行“processBlock()”执行的时候。检索该方法的调用,发现在1174行“onReceiveBlock()”方法里,以及1084行“loadBlocksFromPeer()”方法里,都调用了该方法,只有在“loadBlocksFromPeer()”方法里,“processBlock()”方法不执行广播操作。

    该方法很长,但并不复杂,下面仅仅粘贴与分叉相关的源码,如下:

    1. // modules/blocks.js文件
    2. // 800行
    3. Blocks.prototype.processBlock = function (block, broadcast, cb) {
    4. ...
    5. if (block.previousBlock != privated.lastBlock.id) {
    6. // 859行 高度相同,父块不同
    7. modules.delegates.fork(block, 1);
    8. return done("Can't verify previous block: " + block.id);
    9. }
    10. //
    11. if (err) {
    12. // 877行 受托人时段不同
    13. modules.delegates.fork(block, 3);
    14. return done("Can't verify slot: " + block.id);
    15. }
    16. if (tId) {
    17. // 910行 交易已经存在
    18. modules.delegates.fork(block, 2);
    19. setImmediate(cb, "Transaction already exists: " + transaction.id);
    20. }
    21. };

    上面列出了3种,还有一种:

    1. // modules/blocks.js文件
    2. // 1166行
    3. Blocks.prototype.onReceiveBlock = function (block) {
    4. ...
    5. if (block.previousBlock == privated.lastBlock.previousBlock && block.height == privated.lastBlock.height && block.id != privated.lastBlock.id) {
    6. // 1181行 高度和父块相同,但块ID不同
    7. modules.delegates.fork(block, 4);
    8. cb("Fork");
    9. }
    10. ...

    事实上,这里写入分叉的代码“modules.delegates.fork()”方法,很简单,仅仅是向“forks_stat”表插入对应数据而已。我们需要重点关注的是,上面罗列了4种分叉,它们的具体分叉的原因是:

    1. 859行:块高度相同,父块不同。可能是父块验证出现问题;
    2. 910行:交易已经存在。可能用户重复提交了交易,典型的就是“双花”问题;
    3. 877行:受托人时段不同。出现时段验证错误,而块时段是与时间戳相关的,所以可能是时间处理出现了问题;
    4. 1166行:高度和父块都相同,但块ID不同。这是接收来的块,高度比最新块大于1,父块是最新块时才会正常写入区块链,不然只能写入分叉。块的ID信息是对块进行sha256加密算法得出的结果,可能获得的是不同分支上的块。

    (6)同步区块链,并解决分叉

    我们上面说了,当加载验证本地区块结束,程序触发了“blockchainReady”事件(modules/loader.js 398行),于是各个模块里对应的“onBlockchainReady()”方法被执行。如果,查看每个模块对应的“onBlockchainReady()”方法,我们就能很轻松地了解,接下来程序在做什么。

    这里,我们要考察如何从其他节点同步区块链,自然要看看节点模块里对应的方法。我们在《一个精巧的P2P网络实现》一章,已经贴出了“onBlockchainReady()”方法的代码,这里不再重复。请看对应源码的364行,该行在更新了节点之后,调用了“library.bus.message(‘peerReady’)”方法,触发了另一个“peerReady”事件。这才是我们最想要的,再次回到modules/loader.js文件,该文件也定义了“peerReady”事件,如下:

    1. // modules/loader.js
    2. // 492行
    3. Loader.prototype.onPeerReady = function () {
    4. setImmediate(function nextLoadBlock() {
    5. ...
    6. // 499行
    7. privated.loadBlocks(lastBlock, cb);
    8. ...
    9. });
    10. setImmediate(function nextLoadUnconfirmedTransactions() {
    11. ...
    12. // 514行
    13. privated.loadUnconfirmedTransactions(function (err) {
    14. ...
    15. });
    16. setImmediate(function nextLoadSignatures() {
    17. ...
    18. // 523行
    19. privated.loadSignatures(function (err) {
    20. ...
    21. });
    22. };

    该事件方法,通过“privated.loadBlocks()”等三个方法分别同步区块(499行)、未确认交易和签名。限于篇幅,我们仅分析“privated.loadBlocks()”方法,其他两个逻辑,请自行查阅源码。

    1. // modules/loader.js
    2. // 225行
    3. privated.loadBlocks = function (lastBlock, cb) {
    4. // 226行
    5. modules.transport.getFromRandomPeer({
    6. api: '/height',
    7. method: 'GET'
    8. }, function (err, data) {
    9. var peerStr = data && data.peer ? ip.fromLong(data.peer.ip) + ":" + data.peer.port : 'unknown';
    10. ...
    11. if (bignum(modules.blocks.getLastBlock().height).lt(data.body.height)) {
    12. ...
    13. if (lastBlock.id != privated.genesisBlock.block.id) {
    14. // 259行
    15. privated.findUpdate(lastBlock, data.peer, cb);
    16. } else { // Have to load full db
    17. // 261行
    18. privated.loadFullDb(data.peer, cb);
    19. }
    20. ...
    21. });
    22. };

    226行的“transport.getFromRandomPeer()”方法,已经在《一个精巧的P2P网络实现》一章分析过,这里不再赘述。该方法通过随机选择节点,并调用这里提供的api获得远程节点的“height”数据,在确保本地区块链高度小于远程节点区块链高度的前提下,如果本地是创世区块就把远程节点整个数据库同步过来,调用“privated.loadFullDb()”方法,不然就调用“privated.findUpdate()”方法更新缺失的区块。前者很简单,属于后者的特殊情况,仅仅分析后者即可,代码如下:

    1. // modules/loader.js
    2. // 75行
    3. privated.findUpdate = function (lastBlock, peer, cb) {
    4. ...
    5. // 80行 获得正常块
    6. modules.blocks.getCommonBlock(peer, lastBlock.height, function (err, commonBlock) {
    7. ...
    8. var toRemove = lastBlock.height - commonBlock.height;
    9. if (toRemove > 1010) {
    10. // 89行 该节点的分支太长,限制从该节点同步数据(1小时)
    11. library.logger.log("long fork, ban 60 min", peerStr);
    12. modules.peer.state(peer.ip, peer.port, 0, 3600);
    13. return cb();
    14. }
    15. // 暂存未确认的交易
    16. var overTransactionList = [];
    17. modules.transactions.undoUnconfirmedList(function (err, unconfirmedList) {
    18. ...
    19. async.series([
    20. function (cb) {
    21. if (commonBlock.id != lastBlock.id) {
    22. // 还能反向循环
    23. modules.round.directionSwap('backward', lastBlock, cb);
    24. } else {
    25. cb();
    26. }
    27. },
    28. function (cb) {
    29. // 这里处理侧链
    30. library.bus.message('deleteBlocksBefore', commonBlock);
    31. // 117行 删除正常块之前的块
    32. modules.blocks.deleteBlocksBefore(commonBlock, cb);
    33. },
    34. ...
    35. function (cb) {
    36. // 129行
    37. modules.blocks.loadBlocksFromPeer(peer, commonBlock.id, function (err, lastValidBlock) {
    38. ...

    这个方法相对比较复杂,80行,为什么是获得正常块(或标准块)?因为上面有4种分叉的块,都被保存在一个数据库表“blocks”里,需要通过查询把分叉的块(不正常的)过滤掉。89行,最新块与正常块之间高度差太大,说明该节点的分支太长,暂时限制从该节点同步数据,可以提高效率,也能减少出错几率。117行,把分叉的块删除掉,就解决了分叉问题。129行,这里就跟创世块处理方法相似了。

    这里需要理解的是,真实的数据库存储的数据,绝对不是像前面描述的那样,是一个个标准的抽屉罗列在一起。很多情况下,正常的区块和分叉的区块都被按照时间顺序存储,是杂乱无章的,展示给用户的是经过代码过滤之后的数据。而我们定义的区块链,是经过编码实现的理想结果,这应该不难理解。

    总结

    本文从技术角度,描述了区块链的相关概念,并结合源码,解读了亿书区块链相关实现,这对于直观了解和学习区块链是有帮助的。特别是社区里,有些币圈网友认为压根就不应该有区块链分叉,本文的回答可能会让他们失望了。在现实世界,理想永远是遥不可及的事情,只有更好,没有最好。因此,包括区块链技术在内,只要是介入人类经济生态的应用,永远都不是单纯的技术性问题,它的更深层次的问题在于社区,以及基于人类经济生态的政治文化。

    本文没有讨论区块链相关的公共Api,因为它们都是数据库读取操作,难度不大,按照以往的惯例,都留给读者自己去阅读。整体来说,这部分相对复杂,对于区块链分叉的处理,以及与区块关联的交易,还需要更多的优化,我们会在后续的版本中升级改造。

    聪明的小伙伴一定看出来了,对于创建新区块、分叉等都是受托人模块(modules/blocks.js)的核心功能,受托人是DPOS机制的内容,所以要想更深层次的把握本章知识,还应该再深入一步,切实掌握亿书的共识机制。因此,请看下一篇:《DPOS机制》

    链接

    本系列文章即时更新,若要掌握最新内容,请关注下面的链接

    本源文地址: https://github.com/imfly/bitcoin-on-nodejs

    亿书白皮书: http://ebookchain.org/ebookchain.pdf

    亿书官网: http://ebookchain.org

    亿书官方QQ群:185046161(亿书完全开源开放,欢迎各界小伙伴参与)

    参考

    《精通加密货币》作者Andreas问答

    区块链

    关于比特币硬分叉和软分叉的争议

    以太坊软分叉失败,硬分叉成功