HPCC

2021年8月18日 (三) 07:23的版本

您可以在Wikipedia上了解到此条目的英文信息 HPCC Thanks, Wikipedia.

HPCC (High-Performance Computing Cluster), 也称为 DAS (Data Analytics Supercomputer) 是一个开源(Apache v2)的大数据处理和分析平台，使用 C++ 和 ECL 开发。

新闻

庆祝为HPCC开源社区服务10年 (June 15, 2021)

简介

一套C++开发的大数据处理和分析平台；
ECL (Enterprise Control Language) 和KEL (Knowledge Engineering Language) 是两个High Level的脚本语言；
HPCC比Apache Hadoop历史更加悠久，在并行架构上也有自己的独到之处：Data Parallelism、Pipeline Parallelism、System Parallelism

版本

6.0.x
5.6.x

组件

HPCC Systems 包括以下核心组件：

Thor (the Data Refinery Cluster)
Roxie (Rapid Online XML Inquiry Engine, the Query Cluster)
ECL (Enterprise Control Language)
ECL IDE
ESP (Enterprise Services Platform)

平行

Parallelism Architecture：

Data Parallelism
Component Parallelism
Pipeline Parallelism
System Parallelism

指南

下载 HPCC 虚拟机快速启动。

http://127.0.0.1:8010/

HPCC配置管理器

sudo /opt/HPCCSystems/sbin/configmgr
http://localhost:8015

机器学习

Identity&Risk

可视化

HPCC Visualization Framework JavaScript编写

ECL

我可以写4行ECL代码来替代SQL中的200行。这使得阅读，理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO

UDF

用户可通过Java, Python, C++ 和 R创建自己的User Defined Functions (UDF)。

ECL IDE

ECL Watch

ECL Watch 是运行在Enterprise Services Platform (ESP)的一个服务，是HPCC平台的一个中间件组件。

ECL Watch Candidate-6.4.0 源代码 JavaScript编写。

ESDL

ESDL (Enterprise Service Description Language)

Dynamic ESDL

SALT

SALT: Scalable Automated Linking Technology 提供：

连接和聚类 (MDM)
数据归档、清洗、规范、标准化
复杂的特性和基于连接和聚类的关系

Thor

Thor (the Data Refinery Cluster)

Roxie

Roxie (Rapid Online XML Inquiry Engine)

Interlok

Interlok: Seamless Data Integration

KEL

KEL: Knowledge Engineering Language

社交图

ESP

ESP (Enterprise Services Platform)

Nagios

HPCC使用Nagios进行系统监控。

Ganglia

HPCC使用Ganglia提供监控和报表。

Hadoop

HPCC和Hadoop的比较

Cassandra

Kafka

AWS

用户

Case Studies

文档

更多文档>>>

图集

架构
架构
数据分析
Lambda架构
Hadoop MapReduce
Pig
HPCC组件
配置管理器
ECL Watch
ELC操作平台
ETL平台
机器学习模块
Risk解决方案
HPCC用例
SALT方法
Linking方法

链接

@@ 第56行： / 第56行： @@
 ==ECL==
+我可以写4行ECL代码来替代SQL中的200行。这使得阅读，理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO
 *[https://github.com/hpcc-systems/HPCC-Platform/tree/master/ecl ECL @ GitHub]
 *[https://github.com/infosys-hpcc/eclbuilder ECLBuilder] [http://docs.huihoo.com/hpcc/ecl-builder-an-ecl-web-interface-for-analytics.pdf HPCC Systems ECL Builder]