灰狐数据

来自开放百科 - 灰狐
(版本间的差异)
跳转到: 导航, 搜索
(项目)
(灰狐分析)
 
(未显示1个用户的76个中间版本)
第1行: 第1行:
 
灰狐数据
 
灰狐数据
 +
 +
[[文件:Postgresql-logo.png|right]]
 +
[[文件:ScyllaDB-logo.jpg|right]]
  
 
==简介==
 
==简介==
灰狐数据是[[灰狐咨询]]的核心业务。
+
一切皆数据,数据即洞察。
 +
 
 +
灰狐数据是[[灰狐咨询]]的大数据、数据存储、数据分析业务。
 +
 
 +
[https://forge.huihoo.com/news/643 对数据库、存储、数据安全外包业务的一些思考]
 +
 
 +
[[PostgreSQL]], [[ScyllaDB]] 是灰狐核心数据库引擎。
 +
 
 +
我们理解的大数据三剑客:[[Apache Cassandra]]/[[ScyllaDB]]、[[Apache Kafka]] 和 [[Elasticsearch]],我们持续的深度耕耘,帮助客户构建更强大的大数据基础设施。
 +
 
 +
[[Elassandra]] = [[Elasticsearch]] + [[Apache Cassandra]]
 +
 
 +
[[Elasticsearch]] 和 [[Apache Cassandra]] 是灰狐数据的核心存储支撑,[[Apache Kafka]] 核心数据聚合和流数据平台,[[Metabase]]/[https://github.com/apache/incubator-superset Apache Superset]是BI和分析门户。[https://github.com/elastic/elasticsearch-hadoop Elasticsearch Hadoop]
 +
 
 +
[https://www.elastic.co/use-cases/networked-insights Solve Hadoop's “Last Mile" Problem with Elasticsearch] Use Elasticsearch to easily search Apache Hadoop data.
 +
 
 +
大数据领域的瑞士军刀变迁:[[MongoDB]] -> [[Elasticsearch]] -> [[ClickHouse]]
 +
 
 +
==数据库==
 +
[[D3]] 提供数据库和存储服务
 +
 
 +
[[Riak]] 拥抱 [[Erlang ecosystem]]
 +
 
 +
[[MariaDB]] & [[Vitess]]
 +
 
 +
[[PostgreSQL]] 和 [[ClickHouse]] 也是我们长期提供LTS服务的核心数据库。
 +
 
 +
Huihoo Analytics:基于 Analytical DBMS [[ClickHouse]] 构建,打造一套类似 [[Elasticsearch]] Elastic Stack 的解决方案。
 +
 
 +
[https://www.chapterx.cn ChapterX] 提供 πDB数据库、 一体机、服务的发展思路可借鉴。
 +
 
 +
==数据库迁移==
 +
[[pgloader]]服务
 +
*Migrate from [[MySQL]] to [[PostgreSQL]]
 +
*Migrate from [[SQLite]] to PostgreSQL
 +
*Migrate from [[Microsoft SQL Server]] to PostgreSQL
 +
 
 +
==大数据==
 +
* [[ScyllaDB]] The Real-Time Big Data Database
 +
* 围绕 [[PostgreSQL]] & [[Greenplum]] 的 MPP大数据平台,OLTP + OLAP = HTAP。
 +
* 还有 [[HPCC]] Systems 大数据处理和分析平台,也是非常另类和一枝独秀。
 +
* 大数据领域的核心数据库变迁:[[MongoDB]] -> [[Elasticsearch]] -> [[ClickHouse]]
 +
 
 +
==数据网关==
 +
[https://github.com/stargate/stargate Stargate]开源数据网关,所有数据统一存储在 [[Apache Cassandra]]
 +
 
 +
==桌面==
 +
*[[SQuirreL SQL Client]]([[NetBeans]]) 比 [[DBeaver]]([[Eclipse]]) 更加自由开放,没有收费的企业版。
 +
*[[Kettle]]
 +
*[[KNIME]]
  
 
==业务==
 
==业务==
 +
Huihoo [[Data science|Data Science]]
 
*Data Analytics
 
*Data Analytics
 
*Data Engineering
 
*Data Engineering
 
*[[data mining|数据挖掘]]、[[Statistics|统计工程]]、[[machine learning|机器学习]]
 
*[[data mining|数据挖掘]]、[[Statistics|统计工程]]、[[machine learning|机器学习]]
*[[database|数据库]]
+
*[[database|数据库]]、[[data warehouse|数据仓库]]
 +
*[[Kettle]] 数据集成、ETL
 +
*[[DBeaver]] for [[Eclipse]] 数据库管理
 
*[[M3|增长营销、增长黑客]]
 
*[[M3|增长营销、增长黑客]]
 +
*[[OpenAds]]广告业务
 +
*[[灰狐教育]]、知识图谱、问答系统、智能机器人(灰狐):语言助手、聊天Bot、告警Bot、虚拟助手等等,每一个设备都住着一位Bot。
 +
 +
==DataOps==
 +
* [https://www.ibm.com/cn-zh/analytics/dataops IBM 数据运营 DataOps]
 +
 +
==人工智能==
 +
[[文件:lfaidata-logo.png|right|LF AI & Data Foundation]]
 +
*[https://lfaidata.foundation/ LF AI & Data Foundation]
 +
 +
==灰狐分析==
 +
以 [[KNIME]] 分析平台为核心工作台,展开各种[[data science|数据科学]]应用和服务。
 +
 +
[[CHAOSS]] 是灰狐的一项核心服务,我们围绕它建立在开源软件、开源社区的分析和治理能力,Open Distro for [[Elasticsearch]] & [[ClickHouse]] 是基础设施。
 +
 +
[https://bestpractices.coreinfrastructure.org/en CII Best Practices Badge Program] 一个蛮有趣的[https://github.com/coreinfrastructure/best-practices-badge 开源项目] 可关注。
 +
 +
GrimoireLab & [[Eclipse SCAVA|CROSSMINER]] Two different philosophies to measure open source community health
 +
 +
==Haskell==
 +
[[文件:Haskell-logo.png|right|Haskell]]
 +
[[文件:PostgREST-logo.png|right|PostgREST]]
 +
 +
Haskell 是灰狐数据核心编程语言。
 +
*[[Haskell]] for [[machine learning|机器学习]]和[[data science|数据科学]]。
 +
*[[PostgREST]] [[REST]] [[API]] for any [[PostgreSQL]] database [https://postgrest.org/en/v9.0/ecosystem.html PostgREST ecosystem]
 +
 +
==Lisp==
 +
in [[Lisp]], code is data.
 +
 +
*[[pgloader]]
  
 
==项目==
 
==项目==
*[[KNIME]][[H2]]
+
*Huihoo Analytics:based on [[ClickHouse]]
*[[PostgreSQL]][[Apache Cassandra]]
+
*关注 [[ZFS|OpenZFS]], [[Ceph]]
 +
*[[Apache Kafka]]核心数据聚合和流数据平台
 +
*[[RabbitMQ]]消息中间件
 
*[[SMACK堆栈]]
 
*[[SMACK堆栈]]
 +
*[[KNIME]]、[[H2O]]
 +
*[[PostgreSQL]]、[[Apache Cassandra]]
 
*[[Open data]]
 
*[[Open data]]
*[[D3]]
+
*[https://pydata.org/ PyData] Python for Data
*D3 [[Snowplow]]
+
  
 
==图集==
 
==图集==
 +
<gallery>
 +
image:kafka-modern-stream-centric-data-architecture.png|Kafka流数据平台
 +
image:stargate.png|Stargate数据网关
 +
</gallery>
  
 
==链接==
 
==链接==
 +
*Huihoo.IO
 +
*[https://github.com/junneyang/xxhadoop xxhadoop] Data Analysis Using Hadoop/Spark/Storm/ES/ML etc. This is My Learning Notes/Code/Demo. Don't fork, Just star !
 +
*[https://tushare.pro/ Tushare金融大数据] 给出了一个思路。
  
 
[[category:big data]]
 
[[category:big data]]
[[category:spark]]
+
[[category:data science]]
[[category:kafka]]
+
[[category:database]]
[[category:akka]]
+
[[category:storage]]
 
[[category:cassandra]]
 
[[category:cassandra]]
[[category:mesos]]
+
[[category:PostgreSQL]]
 
[[category:huihoo]]
 
[[category:huihoo]]

2022年4月13日 (三) 02:45的最后版本

灰狐数据

Postgresql-logo.png
ScyllaDB-logo.jpg

目录

[编辑] 简介

一切皆数据,数据即洞察。

灰狐数据是灰狐咨询的大数据、数据存储、数据分析业务。

对数据库、存储、数据安全外包业务的一些思考

PostgreSQL, ScyllaDB 是灰狐核心数据库引擎。

我们理解的大数据三剑客:Apache Cassandra/ScyllaDBApache KafkaElasticsearch,我们持续的深度耕耘,帮助客户构建更强大的大数据基础设施。

Elassandra = Elasticsearch + Apache Cassandra

ElasticsearchApache Cassandra 是灰狐数据的核心存储支撑,Apache Kafka 核心数据聚合和流数据平台,Metabase/Apache Superset是BI和分析门户。Elasticsearch Hadoop

Solve Hadoop's “Last Mile" Problem with Elasticsearch Use Elasticsearch to easily search Apache Hadoop data.

大数据领域的瑞士军刀变迁:MongoDB -> Elasticsearch -> ClickHouse

[编辑] 数据库

D3 提供数据库和存储服务

Riak 拥抱 Erlang ecosystem

MariaDB & Vitess

PostgreSQLClickHouse 也是我们长期提供LTS服务的核心数据库。

Huihoo Analytics:基于 Analytical DBMS ClickHouse 构建,打造一套类似 Elasticsearch Elastic Stack 的解决方案。

ChapterX 提供 πDB数据库、 一体机、服务的发展思路可借鉴。

[编辑] 数据库迁移

pgloader服务

[编辑] 大数据

[编辑] 数据网关

Stargate开源数据网关,所有数据统一存储在 Apache Cassandra

[编辑] 桌面

[编辑] 业务

Huihoo Data Science

[编辑] DataOps

[编辑] 人工智能

LF AI & Data Foundation

[编辑] 灰狐分析

KNIME 分析平台为核心工作台,展开各种数据科学应用和服务。

CHAOSS 是灰狐的一项核心服务,我们围绕它建立在开源软件、开源社区的分析和治理能力,Open Distro for Elasticsearch & ClickHouse 是基础设施。

CII Best Practices Badge Program 一个蛮有趣的开源项目 可关注。

GrimoireLab & CROSSMINER Two different philosophies to measure open source community health

[编辑] Haskell

Haskell
PostgREST

Haskell 是灰狐数据核心编程语言。

[编辑] Lisp

in Lisp, code is data.

[编辑] 项目

[编辑] 图集

[编辑] 链接

  • Huihoo.IO
  • xxhadoop Data Analysis Using Hadoop/Spark/Storm/ES/ML etc. This is My Learning Notes/Code/Demo. Don't fork, Just star !
  • Tushare金融大数据 给出了一个思路。
分享您的观点
个人工具
名字空间

变换
操作
导航
工具箱