HPCC

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(ECL)
(ECL)
第56行: 第56行:
  
 
==ECL==
 
==ECL==
 +
声明性的、模块化的、可扩展的企业控制语言(ECL)是专为处理大数据而设计的。ECL代码编译成优化的C++,并且可以利用C++库方便地扩展。
 +
 
我可以写4行ECL代码来替代SQL中的200行。这使得阅读,理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO   
 
我可以写4行ECL代码来替代SQL中的200行。这使得阅读,理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO   
 
*[https://github.com/hpcc-systems/HPCC-Platform/tree/master/ecl ECL @ GitHub]
 
*[https://github.com/hpcc-systems/HPCC-Platform/tree/master/ecl ECL @ GitHub]

2021年8月18日 (三) 07:26的版本

Wikipedia-35x35.png 您可以在Wikipedia上了解到此条目的英文信息 HPCC Thanks, Wikipedia.

HPCC (High-Performance Computing Cluster), 也称为 DAS (Data Analytics Supercomputer) 是一个开源(Apache v2)的大数据处理和分析平台,使用 C++ECL 开发。

目录

新闻

简介

版本

  • 6.0.x
  • 5.6.x

组件

HPCC Systems 包括以下核心组件:

  • Thor (the Data Refinery Cluster)
  • Roxie (Rapid Online XML Inquiry Engine, the Query Cluster)
  • ECL (Enterprise Control Language)
  • ECL IDE
  • ESP (Enterprise Services Platform)

平行

Parallelism Architecture:

  • Data Parallelism
  • Component Parallelism
  • Pipeline Parallelism
  • System Parallelism

指南

下载 HPCC 虚拟机 快速启动。

http://127.0.0.1:8010/

HPCC配置管理器

sudo /opt/HPCCSystems/sbin/configmgr
http://localhost:8015

机器学习

Identity&Risk

可视化

HPCC Visualization Framework JavaScript编写

ECL

声明性的、模块化的、可扩展的企业控制语言(ECL)是专为处理大数据而设计的。ECL代码编译成优化的C++,并且可以利用C++库方便地扩展。

我可以写4行ECL代码来替代SQL中的200行。这使得阅读,理解和维护代码变得非常容易。- Adwait Joshi, DataSeers公司CEO

UDF

用户可通过Java, Python, C++ R创建自己的User Defined Functions (UDF)

ECL IDE

ECL Watch

ECL Watch 是运行在Enterprise Services Platform (ESP)的一个服务,是HPCC平台的一个中间件组件。

ECL Watch Candidate-6.4.0 源代码 JavaScript编写。

ESDL

ESDL (Enterprise Service Description Language)

Dynamic ESDL

SALT

SALT: Scalable Automated Linking Technology 提供:

  • 连接和聚类 (MDM)
  • 数据归档、清洗、规范、标准化
  • 复杂的特性和基于连接和聚类的关系

Hpcc-salt.jpg

Thor

Thor (the Data Refinery Cluster)

Roxie

Roxie (Rapid Online XML Inquiry Engine)

Interlok

Interlok: Seamless Data Integration

KEL

KEL: Knowledge Engineering Language

社交图

Hpcc-kel-social-graph.jpg

ESP

ESP (Enterprise Services Platform)

Nagios

HPCC使用Nagios进行系统监控。

Ganglia

HPCC使用Ganglia提供监控和报表。

Hadoop

HPCC和Hadoop的比较

Cassandra

Kafka

AWS

用户

Case Studies

文档

更多文档>>>

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱