D3

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(组成)
(图集)
(未显示1个用户的11个中间版本)
第2行: 第2行:
  
 
==含义==
 
==含义==
D3:Data, Deep Learning, IDE // 取其中的三个D
+
D3:Data, Database, Deep Learning // 取其中的三个D
  
 
D3也表示以Data为中心的软件架构和开发模式。
 
D3也表示以Data为中心的软件架构和开发模式。
第15行: 第15行:
 
==路线图==
 
==路线图==
 
路线一:
 
路线一:
 +
*基于[[Erlang]]数据库构建,Riak as a Foundation + [[Redis]] for Low Latency + [[Apache Spark|Spark]] for Analytics。(默认)
 +
*[http://docs.huihoo.com/erlang/conference/euc2015/From-Concept-to-Reality-Solving-Enterprise-Challenges.pdf From Concept to Reality Solving Enterprise Challenges]
 +
 +
路线二:
 
*做Python和数据分析发行版 D3 Analysis Platform(DAP),类似Anaconda。
 
*做Python和数据分析发行版 D3 Analysis Platform(DAP),类似Anaconda。
 
*[[Anaconda python|Anaconda]] D3 Anaconda Platform (DAP) + [https://pydata.org/ PyData] + [[scikit-learn]] + [[Keras]] [https://anaconda.org/omnia/keras conda install -c omnia keras=0.3.2]
 
*[[Anaconda python|Anaconda]] D3 Anaconda Platform (DAP) + [https://pydata.org/ PyData] + [[scikit-learn]] + [[Keras]] [https://anaconda.org/omnia/keras conda install -c omnia keras=0.3.2]
  
路线二:
+
路线三:
 
*以[[Hortonworks]]为大数据基石
 
*以[[Hortonworks]]为大数据基石
 
*基于[[Deeplearning4j]]、[[H2O]]、[[Scala]]和[[Apache Spark]]构建[[Java virtual machine|JVM]]生态的D3解决方案:[[Deep learning on HDP]]
 
*基于[[Deeplearning4j]]、[[H2O]]、[[Scala]]和[[Apache Spark]]构建[[Java virtual machine|JVM]]生态的D3解决方案:[[Deep learning on HDP]]
第25行: 第29行:
 
*通过[[Apache Bigtop]]分发D3
 
*通过[[Apache Bigtop]]分发D3
  
路线三:
+
路线四:
 
*[[HPCC]]是[[Apache Hadoop|Hadoop]]外的另一种选择。
 
*[[HPCC]]是[[Apache Hadoop|Hadoop]]外的另一种选择。
 
*整合[[TensorFlow]], [[MXNet]], [[PaddlePaddle]]等深度学习框架和机器学习库。
 
*整合[[TensorFlow]], [[MXNet]], [[PaddlePaddle]]等深度学习框架和机器学习库。
第31行: 第35行:
 
*支持[[Python]]等尽可能多的外部接口语言。
 
*支持[[Python]]等尽可能多的外部接口语言。
 
[[文件:pydata.png|right]]
 
[[文件:pydata.png|right]]
路线四:D3.NET
 
  
 
==D3.NET==
 
==D3.NET==
第39行: 第42行:
  
 
==组成==
 
==组成==
基础设施
+
*D3 Studio
*[[Deep learning on HDP]] [http://docs.huihoo.com/hortonworks/deep-learning-with-hortonworks-and-apache-spark.pdf Deep Learning on HDP]
+
*D3 Server
*[[HDP on OpenStack]]
+
*D3 HDP
 
+
*D3 Database
业务框架
+
*[[Web crawler|网络爬虫]]、[[Search engine|搜索引擎]]、[[Natural language processing|自然语言处理]]提供的数据收集和数据挖掘服务。用[[elasticsearch]]驱动这一业务,它与[[Apache Hadoop]]有[https://github.com/elastic/elasticsearch-hadoop 深度整合] 提供[https://github.com/elastic/elasticsearch-py Python客户端] [https://github.com/elastic/elasticsearch-dsl-py DSL] 且有丰富的开源项目和商业模式。
+
*将大数据和人工智能服务更好的支持业务发展,通过业务框架提供这一支撑。
+
*[https://github.com/Tencent/mars Mars]微信官方的跨平台跨业务的终端基础组件可作为基础参考。[https://github.com/Tencent/weui/ WeUI] 为微信 Web 服务量身设计。
+
  
 
工具
 
工具
第53行: 第52行:
 
*打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。
 
*打造成类似[[MATLAB]][[Machine_learning|机器学习]]和[[Artificial neural network|神经网络]]平台,基于[[GNU_Octave|Octave]]构建。
 
*D3 [[weka]] 数据挖掘工具包
 
*D3 [[weka]] 数据挖掘工具包
 +
 +
业务框架
 +
*[[Web crawler|网络爬虫]]、[[Search engine|搜索引擎]]、[[Natural language processing|自然语言处理]]提供的数据收集和数据挖掘服务。用[[elasticsearch]]驱动这一业务,它与[[Apache Hadoop]]有[https://github.com/elastic/elasticsearch-hadoop 深度整合] 提供[https://github.com/elastic/elasticsearch-py Python客户端] [https://github.com/elastic/elasticsearch-dsl-py DSL] 且有丰富的开源项目和商业模式。
 +
*将大数据和人工智能服务更好的支持业务发展,通过业务框架提供这一支撑。
 +
*[https://github.com/Tencent/mars Mars]微信官方的跨平台跨业务的终端基础组件可作为基础参考。[https://github.com/Tencent/weui/ WeUI] 为微信 Web 服务量身设计。
 +
 +
基础设施
 +
*[[PostgreSQL]] DBaaS, [https://github.com/citusdata/citus Citus] Multi-tenant database SaaS, [[OpenStack/trove|OpenStack DBaaS (Trove)]] 数据库即服务,跟进[[Amazon Aurora]]。
 +
*[[Deep learning on HDP]] [http://docs.huihoo.com/hortonworks/deep-learning-with-hortonworks-and-apache-spark.pdf Deep Learning on HDP]
 +
*[[HDP on OpenStack]]
  
 
==数据==
 
==数据==
 
*[[Open data|开放数据]]
 
*[[Open data|开放数据]]
 
*通过[[scrapy]]等工具爬取更多数据
 
*通过[[scrapy]]等工具爬取更多数据
 +
 +
==数据库==
 +
D3 database基于[[Riak]]构建和分发:
 +
*D3 KV
 +
*D3 TS
 +
*D3 S2
  
 
==搜索引擎==
 
==搜索引擎==
第75行: 第90行:
 
*[[Natural language processing|自然语言处理]] // 让D3更好的理解Web
 
*[[Natural language processing|自然语言处理]] // 让D3更好的理解Web
 
*[[计算广告]]
 
*[[计算广告]]
*[[Financial technology|金融服务]]
+
*[[Financial technology|金融服务/金融科技]]
 
*[[Computer_vision|计算机视觉]]:[[Caffe]]2、[[DeepVC]]
 
*[[Computer_vision|计算机视觉]]:[[Caffe]]2、[[DeepVC]]
 
*[[Autonomous car|自动驾驶汽车]]
 
*[[Autonomous car|自动驾驶汽车]]
第100行: 第115行:
 
<gallery>
 
<gallery>
 
image:bigdata-v1.png|大数据
 
image:bigdata-v1.png|大数据
 +
image:aiven-io.png|Aiven
 +
image:Basho-data-platform.png|Basho数据平台
 
</gallery>
 
</gallery>
  

2017年10月14日 (六) 11:10的版本

D3

目录

含义

D3:Data, Database, Deep Learning // 取其中的三个D

D3也表示以Data为中心的软件架构和开发模式。

D3 is a Platform for Data.

愿景

普适的大数据人工智能,AI on every device everywhere.

Build Your Own Data Cloud.

路线图

路线一:

路线二:

路线三:

路线四:

  • HPCCHadoop外的另一种选择。
  • 整合TensorFlow, MXNet, PaddlePaddle等深度学习框架和机器学习库。
  • C++语言核心驱动大数据和人工智能基础设施。
  • 支持Python等尽可能多的外部接口语言。
Pydata.png

D3.NET

基于.NET的大数据和机器学习解决方案。

组成

  • D3 Studio
  • D3 Server
  • D3 HDP
  • D3 Database

工具

业务框架

基础设施

数据

数据库

D3 database基于Riak构建和分发:

  • D3 KV
  • D3 TS
  • D3 S2

搜索引擎

信息检索

数据科学

  • D3 orange 为数据挖掘提供一个更好用的机器学习软件包,而不总是SPSS
  • D3 pentaho 数据集成、数据挖掘、大数据分析、商业智能解决方案。
  • Weka: Machine learning software to solve data mining problems

实践

领域

>>>更多行业解决方案

运营

商业软件

图集

链接

分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱