欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜:Formal mathematics/Isabelle/ML, Formal verification/Coq/ACL2, C++/F#/Lisp
D3
来自开放百科 - 灰狐
(版本间的差异)
小 (→图集) |
小 (→数据库) |
||
(未显示1个用户的8个中间版本) | |||
第40行: | 第40行: | ||
==服务== | ==服务== | ||
− | [[灰狐数据]] | + | [[灰狐数据]]: Huihoo Analytics |
==D3.NET== | ==D3.NET== | ||
第57行: | 第57行: | ||
*[[Anaconda python|Anaconda]] + [[Jupyter]] is the new front end for data science and AI. | *[[Anaconda python|Anaconda]] + [[Jupyter]] is the new front end for data science and AI. | ||
*打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。 | *打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。 | ||
+ | *De [[orange]] 数据挖掘工具包 | ||
*D3 [[weka]] 数据挖掘工具包 | *D3 [[weka]] 数据挖掘工具包 | ||
第88行: | 第89行: | ||
数据库集群: | 数据库集群: | ||
− | *[[Vitess MySQL Cluster]] | + | *D3 [[CockroachDB]] |
+ | *D3 Cluster based on [[Vitess MySQL Cluster]] | ||
+ | *D3 Cluster for MariaDB (容器集群) | ||
+ | *D3 Cluster for PostgreSQL (容器集群) | ||
+ | *D3 Cluster for Cassandra (容器集群) | ||
*D3 MariaDB Cluster | *D3 MariaDB Cluster | ||
*D3 PostgreSQL Cluster | *D3 PostgreSQL Cluster | ||
*D3 ArangoDB Cluster | *D3 ArangoDB Cluster | ||
+ | |||
+ | ==数据库容器== | ||
+ | 容器持久化 | ||
==搜索引擎== | ==搜索引擎== | ||
第98行: | 第106行: | ||
==[[data science|数据科学]]== | ==[[data science|数据科学]]== | ||
+ | 数据科学、[[Machine learning|机器学习]] | ||
+ | *D3 [[KNIME]] | ||
+ | *D3 [[H2O]] | ||
*D3 [[orange]] 为数据挖掘提供一个更好用的机器学习软件包,而不总是[[SPSS]]。 | *D3 [[orange]] 为数据挖掘提供一个更好用的机器学习软件包,而不总是[[SPSS]]。 | ||
*D3 [[pentaho]] 数据集成、数据挖掘、大数据分析、商业智能解决方案。 | *D3 [[pentaho]] 数据集成、数据挖掘、大数据分析、商业智能解决方案。 | ||
*[[Weka]]: [[Machine learning]] software to solve [[data mining]] problems | *[[Weka]]: [[Machine learning]] software to solve [[data mining]] problems | ||
+ | |||
+ | ==DC/OS== | ||
+ | D3 on DC/OS | ||
+ | |||
+ | [http://blog.huihoo.com/?p=958 Data Science and Machine Learning on DC/OS] | ||
==实践== | ==实践== | ||
第134行: | 第150行: | ||
==图集== | ==图集== | ||
<gallery> | <gallery> | ||
+ | image:Anaconda-Distribution.png|Anaconda Distribution | ||
image:bigdata-v1.png|大数据 | image:bigdata-v1.png|大数据 | ||
image:pnda-console.png|PNDA | image:pnda-console.png|PNDA | ||
第145行: | 第162行: | ||
==链接== | ==链接== | ||
*[https://www.growingio.com GrowingIO] 技术栈是 [[Scala]], [[play framework|Play]], [[Apache Spark|Spark]], [[Apache Kafka|Kafka]], [[Apache HBase|HBase]], [[ElasticSearch]] | *[https://www.growingio.com GrowingIO] 技术栈是 [[Scala]], [[play framework|Play]], [[Apache Spark|Spark]], [[Apache Kafka|Kafka]], [[Apache HBase|HBase]], [[ElasticSearch]] | ||
+ | *[https://www.analysys.cn/analysis/133/detail/1001275/ Lambda架构已死,去ETL化的IOTA才是未来] | ||
[[category:big data]] | [[category:big data]] |
2018年7月26日 (四) 05:27的版本
D3
目录 |
含义
D3:Data, Database, Deep Learning // 取其中的三个D
D3也表示以Data为中心的软件架构和开发模式。
D3 is a Platform for Data.
愿景
普适的大数据和人工智能,AI on every device everywhere.
Build Your Own Data Cloud.
路线图
路线一:
- 基于Erlang数据库构建,Riak as a Foundation + Redis for Low Latency + Spark for Analytics。(默认)
- From Concept to Reality Solving Enterprise Challenges
路线二:
- 做Python和数据分析发行版 D3 Analysis Platform(DAP),类似Anaconda。
- Anaconda D3 Anaconda Platform (DAP) + PyData + scikit-learn + Keras conda install -c omnia keras=0.3.2
路线三:
- 以Hortonworks为大数据基石
- 基于Deeplearning4j、H2O、Scala和Apache Spark构建JVM生态的D3解决方案:Deep learning on HDP
- 以数据为中心的编程Clojure和分析平台Metabase,Clojure is about Data, Scala is about Types, Java is about Objects.
- Yahoo CaffeOnSpark
- 通过Apache Bigtop分发D3
路线四:
- HPCC是Hadoop外的另一种选择。
- 整合TensorFlow, MXNet, PaddlePaddle等深度学习框架和机器学习库。
- C++语言核心驱动大数据和人工智能基础设施。
- 支持Python等尽可能多的外部接口语言。
堆栈
D3软件堆栈:SMACK堆栈
服务
灰狐数据: Huihoo Analytics
D3.NET
基于.NET的大数据和机器学习解决方案。
组成
- D3 Studio
- D3 Server
- D3 HDP
- D3 Database
工具
- D3 Studio based on KNIME insprie by Metabase and RapidMiner Studio
- Anaconda + Jupyter is the new front end for data science and AI.
- 打造成类似MATLAB机器学习和神经网络平台,基于Octave构建。
- De orange 数据挖掘工具包
- D3 weka 数据挖掘工具包
业务框架
- 网络爬虫、搜索引擎、自然语言处理提供的数据收集和数据挖掘服务。用elasticsearch驱动这一业务,它与Apache Hadoop有深度整合 提供Python客户端 DSL 且有丰富的开源项目和商业模式。
- 将大数据和人工智能服务更好的支持业务发展,通过业务框架提供这一支撑。
- Mars微信官方的跨平台跨业务的终端基础组件可作为基础参考。WeUI 为微信 Web 服务量身设计。
基础设施
- PostgreSQL DBaaS, Citus Multi-tenant database SaaS, OpenStack DBaaS (Trove) 数据库即服务,跟进Amazon Aurora。
- Deep learning on HDP Deep Learning on HDP
- HDP on OpenStack
数据
数据库
Multi-model is the future,以下是D3数据库路线图:
D3 database基于Riak构建和分发:
- D3 KV
- D3 TS
- D3 S2
D3 Studio管理工具,基于Robo 3T构建,支持MongoDB、MariaDB、PostgreSQL、ArangoDB等数据库。
D3 PostgreSQL分发版,PostgreSQL as a Service,PSaaS。
D3 ArangoDB多模型(Multi-model)数据库,Apache v2。
数据库集群:
- D3 CockroachDB
- D3 Cluster based on Vitess MySQL Cluster
- D3 Cluster for MariaDB (容器集群)
- D3 Cluster for PostgreSQL (容器集群)
- D3 Cluster for Cassandra (容器集群)
- D3 MariaDB Cluster
- D3 PostgreSQL Cluster
- D3 ArangoDB Cluster
数据库容器
容器持久化
搜索引擎
信息检索
- Apache Lucene、Apache Solr和Elasticsearch是我们在信息检索领域的工具集和兴趣所在。
数据科学
数据科学、机器学习
- D3 KNIME
- D3 H2O
- D3 orange 为数据挖掘提供一个更好用的机器学习软件包,而不总是SPSS。
- D3 pentaho 数据集成、数据挖掘、大数据分析、商业智能解决方案。
- Weka: Machine learning software to solve data mining problems
DC/OS
D3 on DC/OS
Data Science and Machine Learning on DC/OS
实践
领域
- 电商零售业
- 爬虫和搜索解决方案 Search as a Service
- 自然语言处理 // 让D3更好的理解Web
- 计算广告
- 金融服务/金融科技
- 计算机视觉:Caffe2、DeepVC
- 自动驾驶汽车
- 区块链数据库和区块链数据市场
运营
- IPython Jupyter
- Apache Ambari Operational Best Practices Workshop
- Hue
- Apache Zeppelin
- Apache NiFi
- Apache Metron
- H2O Flow
- Kettle & Talend
- Apache Kylin OLAP on Hadoop
- 基于Eclipse的各种分析和运营工具:XMind
商业软件
图集
链接
分享您的观点