D3

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(数据库)
(数据库)
(未显示1个用户的33个中间版本)
第2行: 第2行:
  
 
==含义==
 
==含义==
D3:Data, Database, Deep Learning // 取其中的三个D
+
D3:Data, [[Database]], [[Deep learning]] // 取其中的三个D
  
 
D3也表示以Data为中心的软件架构和开发模式。
 
D3也表示以Data为中心的软件架构和开发模式。
第14行: 第14行:
  
 
==路线图==
 
==路线图==
 +
缺省路线图:D3 [[Hortonworks|HDP]](两层含义:Huihoo Data Platform和Hortonworks Data Platform)
 +
 
路线一:
 
路线一:
 
*基于[[Erlang]]数据库构建,Riak as a Foundation + [[Redis]] for Low Latency + [[Apache Spark|Spark]] for Analytics。(默认)
 
*基于[[Erlang]]数据库构建,Riak as a Foundation + [[Redis]] for Low Latency + [[Apache Spark|Spark]] for Analytics。(默认)
第35行: 第37行:
 
*支持[[Python]]等尽可能多的外部接口语言。
 
*支持[[Python]]等尽可能多的外部接口语言。
 
[[文件:pydata.png|right]]
 
[[文件:pydata.png|right]]
 +
 +
==核心==
 +
D3三驾马车:[[Apache Kafka]] Data Hub、[[Apache HBase]]  Data Storage、[[Elasticsearch]] Data Insight.
  
 
==堆栈==
 
==堆栈==
 
D3软件堆栈:[[SMACK堆栈]]
 
D3软件堆栈:[[SMACK堆栈]]
  
==服务==
+
==商业形态==
[[灰狐数据]]
+
提供数据库、商业智能和数据分析服务
 +
 
 +
[[灰狐数据]]: Huihoo Analytics
 +
 
 +
==分析引擎==
 +
Huihoo Analytics:基于 Analytical DBMS [https://github.com/yandex/ClickHouse ClickHouse] 构建,打造一套类似 [[Elasticsearch]] [https://www.elastic.co/cn/products/ Elastic Stack] 的解决方案。
  
 
==D3.NET==
 
==D3.NET==
第54行: 第64行:
  
 
工具
 
工具
*D3 Studio insprie by [[Metabase]] and [https://github.com/rapidminer/rapidminer-studio RapidMiner Studio]
+
*D3 Studio based on [[KNIME]] insprie by [[Metabase]] and [https://github.com/rapidminer/rapidminer-studio RapidMiner Studio]
 
*[[Anaconda python|Anaconda]] + [[Jupyter]] is the new front end for data science and AI.  
 
*[[Anaconda python|Anaconda]] + [[Jupyter]] is the new front end for data science and AI.  
 
*打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。
 
*打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。
 +
*De [[orange]] 数据挖掘工具包
 
*D3 [[weka]] 数据挖掘工具包
 
*D3 [[weka]] 数据挖掘工具包
  
第74行: 第85行:
  
 
==数据库==
 
==数据库==
 +
为 [[PostgreSQL]] 和 [[MariaDB]] 等核心数据库提供支持和服务。
 +
 
Multi-model is the future,以下是D3数据库路线图:
 
Multi-model is the future,以下是D3数据库路线图:
 +
 +
喜欢 ArangoDB 的定位:One engine. One query language. Multiple models.
 +
 +
D3 [[ArangoDB]]多模型(Multi-model)数据库,Apache v2。
 +
 +
[https://github.com/ngaut/builddatabase 从零开始写分布式数据库] 一个思路
  
 
D3 database基于[[Riak]]构建和分发:
 
D3 database基于[[Riak]]构建和分发:
第83行: 第102行:
 
D3 Studio管理工具,基于[[Robo 3T]]构建,支持[[MongoDB]]、[[MariaDB]]、[[PostgreSQL]]、[[ArangoDB]]等数据库。
 
D3 Studio管理工具,基于[[Robo 3T]]构建,支持[[MongoDB]]、[[MariaDB]]、[[PostgreSQL]]、[[ArangoDB]]等数据库。
  
D3 PostgreSQL分发版,[[PostgreSQL]] as a Service,PSaaS。
+
D3 PostgreSQL分发版,based on [[CitusDB]][[PostgreSQL]] as a Service,PSaaS。
 
+
D3 [[ArangoDB]]多模型(Multi-model)数据库,Apache v2。
+
  
 
数据库集群:
 
数据库集群:
*[https://github.com/vitessio/vitess Vitess MySQL Cluster]
+
*D3 [[CockroachDB]]
 +
*D3 Cluster based on [[Vitess MySQL Cluster]]
 +
*D3 Cluster for MariaDB (容器集群)
 +
*D3 Cluster for PostgreSQL (容器集群)
 +
*D3 Cluster for Cassandra (容器集群)
 
*D3 MariaDB Cluster
 
*D3 MariaDB Cluster
 
*D3 PostgreSQL Cluster
 
*D3 PostgreSQL Cluster
 
*D3 ArangoDB Cluster
 
*D3 ArangoDB Cluster
 +
 +
==数据库迁移==
 +
*[https://datamigration.microsoft.com/ Azure Database Migration Guide]
 +
 +
==数据库容器==
 +
容器持久化
 +
 +
==爬虫==
 +
D3 Hawk 基于 [https://github.com/ferventdesert/Hawk Hawk] 一个桌面爬虫和 ELT 引擎,[[C Sharp|C#]] 编写。
  
 
==搜索引擎==
 
==搜索引擎==
第98行: 第128行:
  
 
==[[data science|数据科学]]==
 
==[[data science|数据科学]]==
 +
数据科学、[[Machine learning|机器学习]]
 +
*D3V:基于 [https://antvis.github.io/ AntV] 和 [https://github.com/apache/incubator-echarts Apache ECharts] 的数据可视化
 +
*D3 [http://pnda.io/ PNDA] 大数据分析
 +
*D3 [[KNIME]]
 +
*D3 [[H2O]]
 
*D3 [[orange]] 为数据挖掘提供一个更好用的机器学习软件包,而不总是[[SPSS]]。
 
*D3 [[orange]] 为数据挖掘提供一个更好用的机器学习软件包,而不总是[[SPSS]]。
 
*D3 [[pentaho]] 数据集成、数据挖掘、大数据分析、商业智能解决方案。
 
*D3 [[pentaho]] 数据集成、数据挖掘、大数据分析、商业智能解决方案。
 
*[[Weka]]: [[Machine learning]] software to solve [[data mining]] problems
 
*[[Weka]]: [[Machine learning]] software to solve [[data mining]] problems
 +
*[https://www.datacamp.com/community/podcast/women-in-data-science Women in Data Science]
 +
 +
==科学计算==
 +
一个类似[[Anaconda python]]的[[Julia]]科学计算平台:D3 Julia。
 +
 +
==DC/OS==
 +
D3 on DC/OS
 +
 +
[http://blog.huihoo.com/?p=958 Data Science and Machine Learning on DC/OS]
  
 
==实践==
 
==实践==
第126行: 第170行:
 
*[[Kettle]] & [[Talend]]
 
*[[Kettle]] & [[Talend]]
 
*[[Apache Kylin]] [[OLAP]] on Hadoop
 
*[[Apache Kylin]] [[OLAP]] on Hadoop
*基于[[Eclipse]]的各种分析和运营工具:[[XMind]]
+
*基于[[Eclipse]]的各种分析和运营工具:[[KNIME]]、[[XMind]]
  
 
==商业软件==
 
==商业软件==
第134行: 第178行:
 
==图集==
 
==图集==
 
<gallery>
 
<gallery>
 +
image:Anaconda-Distribution.png|Anaconda Distribution
 
image:bigdata-v1.png|大数据
 
image:bigdata-v1.png|大数据
 
image:pnda-console.png|PNDA
 
image:pnda-console.png|PNDA
第140行: 第185行:
 
image:Basho-data-platform.png|Basho数据平台
 
image:Basho-data-platform.png|Basho数据平台
 
image:gekko-mongodb.png|比特币交易数据
 
image:gekko-mongodb.png|比特币交易数据
 +
image:apache-madlib-architecture.png|MADlib架构
 
</gallery>
 
</gallery>
  
 
==链接==
 
==链接==
 
*[https://www.growingio.com GrowingIO] 技术栈是 [[Scala]], [[play framework|Play]], [[Apache Spark|Spark]], [[Apache Kafka|Kafka]], [[Apache HBase|HBase]], [[ElasticSearch]]
 
*[https://www.growingio.com GrowingIO] 技术栈是 [[Scala]], [[play framework|Play]], [[Apache Spark|Spark]], [[Apache Kafka|Kafka]], [[Apache HBase|HBase]], [[ElasticSearch]]
 +
*[https://www.analysys.cn/article/detail/1001275 Lambda架构已死,去ETL化的IOTA才是未来]
  
 
[[category:big data]]
 
[[category:big data]]

2019年10月10日 (四) 02:02的版本

D3

目录

含义

D3:Data, Database, Deep learning // 取其中的三个D

D3也表示以Data为中心的软件架构和开发模式。

D3 is a Platform for Data.

愿景

普适的大数据人工智能,AI on every device everywhere.

Build Your Own Data Cloud.

路线图

缺省路线图:D3 HDP(两层含义:Huihoo Data Platform和Hortonworks Data Platform)

路线一:

路线二:

路线三:

路线四:

  • HPCCHadoop外的另一种选择。
  • 整合TensorFlow, MXNet, PaddlePaddle等深度学习框架和机器学习库。
  • C++语言核心驱动大数据和人工智能基础设施。
  • 支持Python等尽可能多的外部接口语言。
Pydata.png

核心

D3三驾马车:Apache Kafka Data Hub、Apache HBase Data Storage、Elasticsearch Data Insight.

堆栈

D3软件堆栈:SMACK堆栈

商业形态

提供数据库、商业智能和数据分析服务

灰狐数据: Huihoo Analytics

分析引擎

Huihoo Analytics:基于 Analytical DBMS ClickHouse 构建,打造一套类似 Elasticsearch Elastic Stack 的解决方案。

D3.NET

基于.NET的大数据和机器学习解决方案。

组成

  • D3 Studio
  • D3 Server
  • D3 HDP
  • D3 Database

工具

业务框架

基础设施

数据

数据库

PostgreSQLMariaDB 等核心数据库提供支持和服务。

Multi-model is the future,以下是D3数据库路线图:

喜欢 ArangoDB 的定位:One engine. One query language. Multiple models.

D3 ArangoDB多模型(Multi-model)数据库,Apache v2。

从零开始写分布式数据库 一个思路

D3 database基于Riak构建和分发:

  • D3 KV
  • D3 TS
  • D3 S2

D3 Studio管理工具,基于Robo 3T构建,支持MongoDBMariaDBPostgreSQLArangoDB等数据库。

D3 PostgreSQL分发版,based on CitusDBPostgreSQL as a Service,PSaaS。

数据库集群:

  • D3 CockroachDB
  • D3 Cluster based on Vitess MySQL Cluster
  • D3 Cluster for MariaDB (容器集群)
  • D3 Cluster for PostgreSQL (容器集群)
  • D3 Cluster for Cassandra (容器集群)
  • D3 MariaDB Cluster
  • D3 PostgreSQL Cluster
  • D3 ArangoDB Cluster

数据库迁移

数据库容器

容器持久化

爬虫

D3 Hawk 基于 Hawk 一个桌面爬虫和 ELT 引擎,C# 编写。

搜索引擎

信息检索

数据科学

数据科学、机器学习

科学计算

一个类似Anaconda pythonJulia科学计算平台:D3 Julia。

DC/OS

D3 on DC/OS

Data Science and Machine Learning on DC/OS

实践

领域

>>>更多行业解决方案

运营

商业软件

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱