灰狐数据

2022年4月13日 (三) 02:45的最后版本

灰狐数据

[编辑] 简介

一切皆数据，数据即洞察。

灰狐数据是灰狐咨询的大数据、数据存储、数据分析业务。

对数据库、存储、数据安全外包业务的一些思考

PostgreSQL, ScyllaDB 是灰狐核心数据库引擎。

我们理解的大数据三剑客：Apache Cassandra/ScyllaDB、Apache Kafka 和 Elasticsearch，我们持续的深度耕耘，帮助客户构建更强大的大数据基础设施。

Elassandra = Elasticsearch + Apache Cassandra

Elasticsearch 和 Apache Cassandra 是灰狐数据的核心存储支撑，Apache Kafka 核心数据聚合和流数据平台，Metabase/Apache Superset是BI和分析门户。Elasticsearch Hadoop

Solve Hadoop's “Last Mile" Problem with Elasticsearch Use Elasticsearch to easily search Apache Hadoop data.

大数据领域的瑞士军刀变迁：MongoDB -> Elasticsearch -> ClickHouse

[编辑] 数据库

D3 提供数据库和存储服务

Riak 拥抱 Erlang ecosystem

MariaDB & Vitess

PostgreSQL 和 ClickHouse 也是我们长期提供LTS服务的核心数据库。

Huihoo Analytics：基于 Analytical DBMS ClickHouse 构建，打造一套类似 Elasticsearch Elastic Stack 的解决方案。

ChapterX 提供 πDB数据库、 一体机、服务的发展思路可借鉴。

[编辑] 数据库迁移

pgloader服务

• Migrate from MySQL to PostgreSQL
• Migrate from SQLite to PostgreSQL
• Migrate from Microsoft SQL Server to PostgreSQL

[编辑] 大数据

• ScyllaDB The Real-Time Big Data Database
• 围绕 PostgreSQL & Greenplum 的 MPP大数据平台，OLTP + OLAP = HTAP。
• 还有 HPCC Systems 大数据处理和分析平台，也是非常另类和一枝独秀。
• 大数据领域的核心数据库变迁：MongoDB -> Elasticsearch -> ClickHouse

[编辑] 数据网关

Stargate开源数据网关，所有数据统一存储在 Apache Cassandra

[编辑] 桌面

• SQuirreL SQL Client（NetBeans） 比 DBeaver（Eclipse） 更加自由开放，没有收费的企业版。
• Kettle
• KNIME

[编辑] 业务

Huihoo Data Science

• Data Analytics
• Data Engineering
• 数据挖掘、统计工程、机器学习
• 数据库、数据仓库
• Kettle 数据集成、ETL
• DBeaver for Eclipse 数据库管理
• 增长营销、增长黑客
• OpenAds广告业务
• 灰狐教育、知识图谱、问答系统、智能机器人（灰狐）：语言助手、聊天Bot、告警Bot、虚拟助手等等，每一个设备都住着一位Bot。

[编辑] DataOps

• IBM 数据运营 DataOps

[编辑] 人工智能

• LF AI & Data Foundation

[编辑] 灰狐分析

以 KNIME 分析平台为核心工作台，展开各种数据科学应用和服务。

CHAOSS 是灰狐的一项核心服务，我们围绕它建立在开源软件、开源社区的分析和治理能力，Open Distro for Elasticsearch & ClickHouse 是基础设施。

CII Best Practices Badge Program 一个蛮有趣的开源项目 可关注。

GrimoireLab & CROSSMINER Two different philosophies to measure open source community health

[编辑] Haskell

Haskell 是灰狐数据核心编程语言。

• Haskell for 机器学习和数据科学。
• PostgREST REST API for any PostgreSQL database PostgREST ecosystem

[编辑] Lisp

in Lisp, code is data.

• pgloader

[编辑] 项目

• Huihoo Analytics：based on ClickHouse
• 关注 OpenZFS, Ceph
• Apache Kafka核心数据聚合和流数据平台
• RabbitMQ消息中间件
• SMACK堆栈
• KNIME、H2O
• PostgreSQL、Apache Cassandra
• Open data
• PyData Python for Data

[编辑] 图集

• 

  Kafka流数据平台

• 

  Stargate数据网关

[编辑] 链接

• Huihoo.IO
• xxhadoop Data Analysis Using Hadoop/Spark/Storm/ES/ML etc. This is My Learning Notes/Code/Demo. Don't fork, Just star !
• Tushare金融大数据 给出了一个思路。