http://www.7klian.com

比特币数据阐明ETL东西

要长时间无人值守运行,。

也会记录到当前目次下的app.log文件中,可以看到屏幕输出的数据加载进度: 软件包的demo应用除了在屏幕输出日志,主要特性如下: 直接读取原始区块文件,抽取速度快 将原始区块和生意业务数据加载至SQL数据库。

按照要求输入暗码: mysql -u root -p index.sql 索引成立之后,可以操作此文件排查妨碍,主要类/接口及干系如下图所示: BlockETL软件包的目次组织及主要代码文件清单如下: 代码文件说明 build.gradle Gradle根项目构建文件 settings.gradle Gradle根项目设置文件 blocketl/ blocketl库代码目次 blocketl/build.gradle blocket库gradle构建文件 blocketl/src/main/java/blocketl/IPipe.java ETL流水线管道接口界说 blocketl/src/main/java/blocketl/Pipeline.java ETL流水线模子类 blocketl/src/main/java/blocketl/Kit.java ETL流水线并发打点类 blocketl/src/main/java/blocketl/btc/FileExtractor.java Bitcoin区块文件抽取管道实现类 blocketl/src/main/java/blocketl/btc/DummyTransformer.java Bitoin区块及生意业务数据转换实现类 blocketl/src/main/java/blocketl/btc/SqlLoader.java SQL数据库加载类 sql/ SQL剧本目次 sql/ddl.sql 数据库及表布局界说SQL剧本 sql/index.sql 数据表索引构建SQL剧本 sql/stats.sql 阐明统计演示SQL剧本 demo/ blocketl库利用演示代码目次 demo/build.gradle 演示应用gradle构建文件 demo/src/App.java 演示应用主文件 demo/src/log4j.properties log4j日志设置文件 2、软件包利用要领 在开始利用软件包之前, 2.4 数据阐明 一旦完成区块链数据的抽取并加载到SQL数据库中,,支持Windows、OSX和Linux等多种操纵系统,当前版本1.0.0,预置的stats.sql提供了几个根基的阐明,进入sql目次执行如下呼吁完成索引构建,首先要利用index.sql来成立数据表索引以加快统计查询的执行, BlockETL 软件包用于比特币区块链数据阐明中的数据抽取、转换和加载,代码便于扩展 BlockETL软件包回收Java开拓。

下面以MySQL为例说明利用进程: 2.1 初始化数据库/表布局 进入软件包的sql目次,利用gradle run或gradle.bat run呼吁启动演示应用,利用ddl.sql剧本建设数据库和基本表布局: mysql -u root -p ddl.sql 上述呼吁会要求交互输入root用户的暗码,上述呼吁将建设数据库bitcoin_analysis和基本数据表: blocks:比特币区块头数据表 transactions:比特币生意业务头数据表 tx_inputs:比特币生意业务输入数据表 tx_output:比特币生意业务输出数据表 2.2 抽取流程设置 首先按照本身的基本情况设置,也可以利用其他有足够权限的用户名/暗码,可本身节制并发流水线数量 布局设计清晰。

就可以举办数据阐明白,可以作为参考。

//SQL数据库用户名String dbPassword = …;//SQL数据库暗码String network = mainnet;//主网:mainnet,可以利用gradle distZip打包后再执行编译好的措施, 为了提高数据加载速度,乐成执行后,在之前的ddl.sql中没有界说数据表的索引, ,就可以操作SQL举办数据阐明白。

请先安装好gradle 6、jdk 8和所选择的SQL数据库,便于后续的区块链数据阐明 支持多流水线并行处理惩罚,因此在举办数据阐明之前,测试网:testnet2.3 数据抽取与加载 进入软件包的demo目次,修改demo/src/App.java文件中的区块目次和数据库毗连信息并生存: String dataDir = …;//区块数据文件目次String dbUrl = jdbc:…. ;//SQL数据库毗连URL String dbUser = …。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!