HPCC

您可以在Wikipedia上了解到此条目的英文信息 HPCC Thanks, Wikipedia.

HPCC (High-Performance Computing Cluster), 也称为 DAS (Data Analytics Supercomputer) 是一个开源(Apache v2)的大数据处理和分析平台，使用 C++ 和 ECL 开发。

新闻

庆祝为HPCC开源社区服务10年 (June 15, 2021)

简介

一套C++开发的大数据处理和分析平台；
ECL (Enterprise Control Language) 和KEL (Knowledge Engineering Language) 是两个High Level的脚本语言；
HPCC比Apache Hadoop历史更加悠久，在并行架构上也有自己的独到之处：Data Parallelism、Pipeline Parallelism、System Parallelism

版本

6.0.x
5.6.x

组件

HPCC Systems 包括以下核心组件：

Thor (the Data Refinery Cluster)
Roxie (Rapid Online XML Inquiry Engine, the Query Cluster)
ECL (Enterprise Control Language)
ECL IDE
ESP (Enterprise Services Platform)

平行

Parallelism Architecture：

Data Parallelism
Component Parallelism
Pipeline Parallelism
System Parallelism

指南

下载 HPCC 虚拟机快速启动。

http://127.0.0.1:8010/

HPCC配置管理器

sudo /opt/HPCCSystems/sbin/configmgr
http://localhost:8015

机器学习

Identity&Risk

可视化

HPCC Visualization Framework JavaScript编写

ECL

声明性的、模块化的、可扩展的企业控制语言(ECL)是专为处理大数据而设计的。ECL代码编译成优化的C++，并且可以利用C++库方便地扩展。

我可以写4行ECL代码来替代SQL中的200行。这使得阅读，理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO

UDF

用户可通过Java, Python, C++ 和 R创建自己的User Defined Functions (UDF)。

ECL IDE

ECL Watch

ECL Watch 是运行在Enterprise Services Platform (ESP)的一个服务，是HPCC平台的一个中间件组件。

ECL Watch Candidate-6.4.0 源代码 JavaScript编写。

ESDL

ESDL (Enterprise Service Description Language)

Dynamic ESDL

SALT

SALT: Scalable Automated Linking Technology 提供：

连接和聚类 (MDM)
数据归档、清洗、规范、标准化
复杂的特性和基于连接和聚类的关系

Thor

Thor (the Data Refinery Cluster), Thor 集群负责复杂的数据处理。

Thor，数据提炼引擎，是提取和补充数据的引擎。

Thor 使用主从拓扑，其从机提供本地化的数据存储和处理能力，主机监控和协调从机的活动，并传递任务状态信息。
中间组件提供命名服务和其它服务，以辅助执行分布式任务。

Roxie

Roxie (Rapid Online XML Inquiry Engine), ROXIE 集群负责数据查询和报告。

Interlok

Interlok: Seamless Data Integration

KEL

KEL: Knowledge Engineering Language

社交图

ESP

ESP (Enterprise Services Platform)

Nagios

HPCC使用Nagios进行系统监控。

Ganglia

HPCC使用Ganglia提供监控和报表。

Hadoop

HPCC和Hadoop的比较

Cassandra

Kafka

AWS

用户

Case Studies

文档

更多文档>>>

图集

架构
架构
数据分析
Lambda架构
Hadoop MapReduce
Pig
HPCC组件
配置管理器
ECL Watch
ELC操作平台
ETL平台
机器学习模块
Risk解决方案
HPCC用例
SALT方法
Linking方法

链接