D3

2018年8月23日 (四) 14:32的版本

D3

含义

D3：Data, Database, Deep Learning // 取其中的三个D

D3也表示以Data为中心的软件架构和开发模式。

D3 is a Platform for Data.

愿景

普适的大数据和人工智能，AI on every device everywhere.

Build Your Own Data Cloud.

路线图

路线一：

基于Erlang数据库构建，Riak as a Foundation + Redis for Low Latency + Spark for Analytics。(默认)
From Concept to Reality Solving Enterprise Challenges

路线二：

做Python和数据分析发行版 D3 Analysis Platform(DAP)，类似Anaconda。
Anaconda D3 Anaconda Platform (DAP) + PyData + scikit-learn + Keras conda install -c omnia keras=0.3.2

路线三：

以Hortonworks为大数据基石
基于Deeplearning4j、H2O、Scala和Apache Spark构建JVM生态的D3解决方案：Deep learning on HDP
以数据为中心的编程Clojure和分析平台Metabase，Clojure is about Data, Scala is about Types, Java is about Objects.
Yahoo CaffeOnSpark
通过Apache Bigtop分发D3

路线四：

HPCC是Hadoop外的另一种选择。
整合TensorFlow, MXNet, PaddlePaddle等深度学习框架和机器学习库。
C++语言核心驱动大数据和人工智能基础设施。
支持Python等尽可能多的外部接口语言。

堆栈

D3软件堆栈：SMACK堆栈

服务

灰狐数据: Huihoo Analytics

D3.NET

基于.NET的大数据和机器学习解决方案。

组成

D3 Studio
D3 Server
D3 HDP
D3 Database

工具

D3 Studio based on KNIME insprie by Metabase and RapidMiner Studio
Anaconda + Jupyter is the new front end for data science and AI.
打造成类似MATLAB 机器学习和神经网络平台，基于Octave构建。
De orange 数据挖掘工具包
D3 weka 数据挖掘工具包

业务框架

网络爬虫、搜索引擎、自然语言处理提供的数据收集和数据挖掘服务。用elasticsearch驱动这一业务，它与Apache Hadoop有深度整合提供Python客户端 DSL 且有丰富的开源项目和商业模式。
将大数据和人工智能服务更好的支持业务发展，通过业务框架提供这一支撑。
Mars微信官方的跨平台跨业务的终端基础组件可作为基础参考。WeUI 为微信 Web 服务量身设计。

基础设施

PostgreSQL DBaaS, Citus Multi-tenant database SaaS, OpenStack DBaaS (Trove) 数据库即服务，跟进Amazon Aurora。
Deep learning on HDP Deep Learning on HDP
HDP on OpenStack

数据

开放数据
通过scrapy等工具爬取更多数据

数据库

Multi-model is the future，以下是D3数据库路线图：

D3 database基于Riak构建和分发：

D3 KV
D3 TS
D3 S2

D3 Studio管理工具，基于Robo 3T构建，支持MongoDB、MariaDB、PostgreSQL、ArangoDB等数据库。

D3 PostgreSQL分发版，PostgreSQL as a Service，PSaaS。

D3 ArangoDB多模型(Multi-model)数据库，Apache v2。

数据库集群：

D3 CockroachDB
D3 Cluster based on Vitess MySQL Cluster
D3 Cluster for MariaDB (容器集群)
D3 Cluster for PostgreSQL (容器集群)
D3 Cluster for Cassandra (容器集群)
D3 MariaDB Cluster
D3 PostgreSQL Cluster
D3 ArangoDB Cluster

数据库容器

容器持久化

搜索引擎

信息检索

Apache Lucene、Apache Solr和Elasticsearch是我们在信息检索领域的工具集和兴趣所在。

数据科学

数据科学、机器学习

D3 KNIME
D3 H2O
D3 orange 为数据挖掘提供一个更好用的机器学习软件包，而不总是SPSS。
D3 pentaho 数据集成、数据挖掘、大数据分析、商业智能解决方案。
Weka: Machine learning software to solve data mining problems

科学计算

一个类似Anaconda python的Julia科学计算平台：D3 Julia。

DC/OS

D3 on DC/OS

Data Science and Machine Learning on DC/OS

实践

PyPI PyPA Conda数据分析和包治理

领域

电商零售业
爬虫和搜索解决方案 Search as a Service
自然语言处理 // 让D3更好的理解Web
计算广告
金融服务/金融科技
计算机视觉：Caffe2、DeepVC
自动驾驶汽车
区块链数据库和区块链数据市场

>>>更多行业解决方案

运营

IPython Jupyter
Apache Ambari Operational Best Practices Workshop
Hue
Apache Zeppelin
Apache NiFi
Apache Metron
H2O Flow
Kettle & Talend
Apache Kylin OLAP on Hadoop
基于Eclipse的各种分析和运营工具：XMind

商业软件

图集

Anaconda Distribution
大数据
PNDA
快数据
Aiven
Basho数据平台
比特币交易数据
MADlib架构

链接

GrowingIO 技术栈是 Scala, Play, Spark, Kafka, HBase, ElasticSearch
Lambda架构已死，去ETL化的IOTA才是未来

@@ 第112行： / 第112行： @@
 *D3 [[pentaho]] 数据集成、数据挖掘、大数据分析、商业智能解决方案。
 *[[Weka]]: [[Machine learning]] software to solve [[data mining]] problems
+==科学计算==
+一个类似[[Anaconda python]]的[[Julia]]科学计算平台：D3 Julia。
 ==DC/OS==

D3