PiFlow是一个功能强大的大数据流水线系统,基于分布式计算框架Spark开发使用它可以进行高效的数据采集、清洗、计算和存储等功能。并且可以将数据可视化,通过各种线形图、柱状图和饼状图等等直观将数据展现出来。
软件特色
使用方便
提供所见即所得的Web界面来配置数据流
监控数据流状态
检查数据流日志
提供检查点
强大的可扩展性:
支持定制的数据处理组件开发
出众的表演
基于分布式计算引擎Spark
强大
提供100多种数据处理组件
包括spark,mllib,hadoop,hive,hbase,solr,redis,memcache,elasticSearch,jdbc,mongodb,http,ftp,xml,csv,json等
使用要求
JDK 1.8
Scala-2.11.8
Apache Maven 3.1.0或更高版本
Spark-2.1.0,Spark-2.2.0,Spark-2.3.0
Hadoop-2.6.0
更新内容
增加可视化分析功能,包括线性图、柱状图、饼状图、散点图;
增加可编程特性,无缝衔接上下游组件,按需在线开发和调试;
增加多语言特性,支持Scala、Python、Shell等多种语言的编程;
增加Spark依赖jar包管理
装机必备软件
网友评论