吴鹏程:快速构建全球化IPFS及区块链平台

数据存储与IPFS结合需要抓住三点,其中核心是全球的布局能力,其次是海量存储能力,最后是无限的公网、带宽和IP地址。

亚马逊云解决方案架构师华东区经理,吴鹏程进行以《快速构建全球化IPFS及区块链平台》为主题的演讲,指出:数据存储与IPFS结合需要抓住三点,其中核心是全球的布局能力,其次是海量存储能力,最后是无限的公网、带宽和IP地址。

以下为嘉宾演讲内容:

吴鹏程:在今天这个铁路还没有完全普及的情况下,如果今天去一个地方,最好的还是自己开车走公路过去的。铁路挣钱是要卖火车票的,卖火车票不能在铁路旁边卖,还是要在公路旁边卖的。

你要铺设很多的门店的,今天可以谈的第一点是怎么在今天的现状下把公有云和咱们IPFS结合在一起,然后刚才谈到很多挖矿,我们也可以谈一下怎么做,第二点今天出了矿之后把它兑现把它变成可以成为法币或者成为获得收益的产品本身需要交易所,我们谈一下怎么构建一个交易所,所以我们今天会有一些简短的分享。

第一点在云上面构建IPFS的存储系统,存储系统其实构建的时候非常关注的一些点就是IPFS的网络我们去构建的时候,核心的要点是什么?

第一点很重要的是说全球的布局能力,如果我们今天构建这个网络为了服务全球所有的网络,让大家很自由的把数据存储到IPFS存储网络里面,核心点就是说必须是一个全球布局的,如果今天做矿机,很重要的一点也是要触达全球各大洲。

第二点海量存储能力,我们今天讲的核心目的就是存储,各大结构化和非结构化需要在云上存储,这个需要海量的存储能力,这个可以在任何需要的时候,从云里面获取。

第三点无限的公网、带宽和IP地址,带宽这个领域无论是挖矿还是后期数据存储,被人家检索,因为你被人家检索,人家要付你的代币,这些都会要求这些存储系统必须有足够强的公网的带宽能力,不能像有一些公有云厂商只提供一两百兆的带宽,这一点我觉得非常重要的。

当然包括公网的IP,在互联网上线一个点对点的网络,很重要的就是彼此的认导,这个也是很重要的。不间断的运行是不可或缺的,挖矿的时候需要用File代货预先押金,如果出现终端这个也会带来挖矿不成带来很大损失的情况,这个也是非常重要的。

还有就是说我们在挖矿过程中也会需要很强的一些计算能力,比如说数据初始化过程中会有一些计算,有比较强劲的CPU,帮助你完成初始化,当你在存储系统正式上线对外提供服务之后,很重要的一点不需要GPO了,怎么灵活调动GPO和CPU呢?只在初始化的时候做到加速,这个是天然拥抱公有云的一些点,因为符合我们5个方面的内容。

这个是一张世界地图,我们在这个上面可以看到很多白点和蓝点,这些是全球的布局,也就是说在各大洲包括非洲、南美洲这些地方都会有对应的点,日本、雅加达、西班牙都会陆续在未来一年两年之间开放一些。如果今天符合比特币的规则的情况下,他币发放也会有地理范围的逻辑,如果全球布局这个挖矿的机器的时候,需要考虑到全球布局的内容。

除了在全球布局的计算节点之外,很重要的就是联结在一起,亚马逊提供了全球一张网的技术,所有全球的每一个点之间相互连接,在中国的两个粉红色的点,这个是没有的,因为符合中国的一些监管要求,北京和宁夏两个点是和国外隔离开的,后面会提到打通,会有一些符合五世中国技术和监管的规定的。

那么从稳定可靠性方面设计的时候,我们需要考虑第一云平台必须有足够的冗余度,整个数据中心出现问题,光线被挖断,断电也好我们可以确保我们的业务系统可以在另外一批机房运行起来,这个中端时间要尽可能小,这个可能会涉及一些底层基础设施的建设,这些都是我们在铺路,架桥做的一些工作。

另外当机器如果本身只是硬件的故障的时候不希望员工介入维护机器的健康状况,所以我们希望尽可能把机器做成自恢复的,可以自己修复自己的,我们在上面列到的主机硬件故障,还有内存耗尽,操纵系统的一些当机等等一些情况都需要自动恢复。

亚马逊云上面会帮助大家恢复功能的,这些是一些界面,从这个角度来说的话,用云上主机挖矿的时候,被扣除你代币的风险小很多。

如果我们今天要用云上主机挖矿的话,核心一些点怎么选机器,这个选项包括你需要CPU多的,内存多的,存储多的,包括你可能需要一些GPU的机型等等,同时,你需要多大的存储都可以根据自己的需要规划和设计的,完全弹性的。我们提供270种的机器的实力可以选择。

这里可以推荐几个,在Filecoin挖矿里面非常重要的是算力,这个算力看到说AMD的CPU往往比英特尔的在底层上面有一些优势,在很多场景下,我们会用到AMD的处理器挖矿,所以大家看到可能现场有很多的矿机厂商。

也是因为AMD具有这样的能力,AMD分成三种,一种T3,想看一下跑起来怎么样,我们可以用这种,他是共享型的,如果不希望的话,确保百分之百机器全部都是CPU要4颗给4颗,还是需要多少,这种会用到M系列和R系列,M系列属于通用性,R系列对内存要求高一些。

AMD的不足以满足你的性能需求,还可以有GPU加速型的,我们云上提供的,像G4和P3,这些都可以帮助你快速实现在区块的初始化。

还有一个Elasic,如果希望加速一下,只是在初始化阶段加速,可以绑一个GPU上去,初始化完成之后,GPU没有太大价值,我们就会卸下来,这个过程云上鼠标点两下的功夫。

另外我们可以有ARM的处理器,传统上可能会说不如英特尔或者AMD,但是我们现在看起来发展到第八代,现在很多已经超过了英特尔和AMD,ARM有很多的应用场景的,像我们在最新推出的ARM处理器他的一些机型可以达到25个GB的带宽。这个其实是在Filecoin场景下面非常合适的。

这个是几种机型的对比,你会看到ARM处理器机型采取工艺是7纳米,这个其实在整个里面全球最领先的,每个芯片是64个核的,这个也是超过的,CPU上面有一个缓存的东西,远远大于英特尔的,ARM的处理器是可以在很多场景上面取代英特尔和AMD的CPU的。

这个是我们做的简单的性能对比,其实可以从图片直观看到的,蓝色的属于ARM的测试结果,灰色的是英特尔的,我们可以看到某一些场景上面,整数计算他的ARM处理器性能高过英特尔将近50%,在浮点数预算超过30%的增幅,ARM处理器就会非常好。

除了计算这一块儿,我们还要看一下存储,存储这个部分我们会提供各种类型的存储,比如说对象存储,块存储,文件存储,备份存储,包括地下的一系列的你如果喜欢用FTP,SFTP都可以的,这些都是在云上随便点几下鼠标可以获取的存储能力,还有就是一个代码库,这个核心实现的就是我现在不需要用这些块存储。

因为比较贵,可以不可以存在S3上面,所以IPFS官方提供了这样一个插件,在前端的服务器上面安装好插件,然后他的数据可以存在S3,S3可以达到TB级的吞吐能力,这个是普通完全没有办法做到的,不能担心数据存储担心的问题,这个和前端的计算节点替换掉的,把原先的数据挂到另外一个服务器上可以正常工作,成本大概比标准的块存储低70%左右,如果在座各位有兴趣挖矿的话可以考虑一下。

刚才谈到了如果矿出来了,挖出来了,在座很多做交易所的,全球绝大部分的顶级的交易所基础上怎么构建这个交易所。我们也可以看到今天在做区块链的应用的时候,有什么选择,我们讲区块链就是所谓的去中心化,但是去中心化的本质目的就是不可删改性不信任任何一方,大家一起磋商一下怎么避免篡改,如果今天有一个中心化机制把数据库做成完全不可篡改,技术上完全不可篡改,这个可以取代一些分布式场景的一些需求,区块链的方式时间换空间。

实际上性能效率不太好,我们有一个所谓的中心化的分类这样的数据库,叫做QLDB,这个可以保证性能效率情况下,实现数据不可篡改,还有一个去中心化平台,提供一个托管区块链的链,基于开元的协议去做的,这个本身你只要点几下鼠标可以驱动的。

如果今天是去到交易所的场景,关注核心的内容,大家可以建一些矿池,这个也和前面挖矿阶段有一些关联,所以像国内有几家领头的一些交易所,他们就是这样的,包括区块链本身的技术应用,数据货币的应用,还有一些相关的行业应用,交易结算,还有一些防伪合同等等,还有数字货币交易平台,还有包括一些高频交易,算法交易,现货、期货也可以的,这边也可以关联到。

其实我们来谈交易所的时候,核心会需要从5个符合马斯洛需求方面出发,大家都听说过的,一个人在世界上生活有5大需求,第一个是生存、第二个是安全、第三个是被理解、第四是被尊重,第五是实现自我价值。

你做了一个交易所同时也会有这五大需求,第一个生存需求实现基本的业务功能,第二个安全需求,大家知道交易所这个事情涉及到一个币,像比特币价值非常高,只要你人红就会有人眼红,所以很多人攻击你而且试图窃取的,还有就是被理解的需求,还有理解别人的需求,这个其实就需要做很多的大数据,比如说获客,留住现有的客户,这些都需要做大数据的分析。还有就是被尊重的需求,不要当我平台是傻的,所以必须有风控。

价值实现的需求,这里面就是做技术的输出,一般来说做交易所有5个方面的内容,核心的也会需要解决5个方面的一些问题。我们核心做的项目就是这样的,一开始我们要做一些撮合交易的平台,之后是做安全防护,做大数据的分析,做风控,以及把产品定型,做的比较好之后做一个托管。交易所里面有很多的类似的公司专门做这样的领域。

构建交易所的时候我们有一些参考的架构,比如说用户接入开始,我们需要先对他进行一些健全和建证,最后确保抵御外部攻击,交易所受到攻击是日常的,怎么防止人家的一些,比如说基层的恶意攻击,之后到后端的交易平台,数字行情波动非常强的,他的峰值和低谷相差很大的,如果在某些时候,行情爆涨的时候行情有很大的差异,需要有一些弹性的处理能力。

包括后端的数据存储,也会涉及到钱包一些应用,这些都会要求到你出现一些数据的丢失意味着币的丢失,意味着钱的丢失,这些会有一些核心技术解决这些问题。包括大数据业务,这个也会用到一系列的分析服务解决刚才谈到的所谓的理解、被理解的需求。

安全这个问题看到币圈里面受到很多的关注,一旦出现盗币,去年很多家都发生了,这个损失是非常大的,有一些原因是因为比如说人家攻击你,有一些是恶意脚本或者病毒导致的,其实这个是分5个方面做的,身份与访问控制,检测性控制。

以在国内搭建你的一些基础设施的,在这种情况下有一个技术方案是说,你在海外搭建的站点,不管是服务器还是什么,他暴露的一些IP可以做一些路由加速,这样可以实现一个效果。

最后总结来看,亚马逊作为最大的一家服务商,我们可以和造铁路的有很好的合作,比如说挖矿、交易所上面我们都可以有非常紧密的一些合作,挖矿可以提供各种GPU、CPU,还有各种类型的存储,实现低成本,快速使用的场景,交易所场景下刚才的5大需求快速因上落地,有很好的架构实现。

谢谢大家,今天我的演讲到这里,我们在外面刚进来的地方有一个展台,大家有兴趣了解的话,欢迎去展台那里详细交流,谢谢大家。

亚马逊云解决方案架构师华东区经理吴鹏程,7月3日参加2020IPFS 生态与分布式存储产业峰会上发表主题演讲《快速构建全球化IPFS及区块链平台》以上为部分精选内容。

——END——

声明:此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。本网站所提供的信息,只供参考之用。

点击阅读全文