灰狐数据

简介

一切皆数据，数据即洞察。

灰狐数据是灰狐咨询的大数据、数据存储、数据分析业务。

对数据库、存储、数据安全外包业务的一些思考

PostgreSQL, ScyllaDB 是灰狐核心数据库引擎。

我们理解的大数据三剑客：Apache Cassandra/ScyllaDB、Apache Kafka 和 Elasticsearch，我们持续的深度耕耘，帮助客户构建更强大的大数据基础设施。

Elassandra = Elasticsearch + Apache Cassandra

Elasticsearch 和 Apache Cassandra 是灰狐数据的核心存储支撑，Apache Kafka 核心数据聚合和流数据平台，Metabase/Apache Superset是BI和分析门户。Elasticsearch Hadoop

Solve Hadoop's “Last Mile" Problem with Elasticsearch Use Elasticsearch to easily search Apache Hadoop data.

大数据领域的瑞士军刀变迁：MongoDB -> Elasticsearch -> ClickHouse

数据库

D3 提供数据库和存储服务

Riak 拥抱 Erlang ecosystem

MariaDB & Vitess

PostgreSQL 和 ClickHouse 也是我们长期提供LTS服务的核心数据库。

Huihoo Analytics：基于 Analytical DBMS ClickHouse 构建，打造一套类似 Elasticsearch Elastic Stack 的解决方案。

ChapterX 提供 πDB数据库、一体机、服务的发展思路可借鉴。

数据库迁移

pgloader服务

Migrate from MySQL to PostgreSQL
Migrate from SQLite to PostgreSQL
Migrate from Microsoft SQL Server to PostgreSQL

大数据

ScyllaDB The Real-Time Big Data Database
围绕 PostgreSQL & Greenplum 的 MPP大数据平台，OLTP + OLAP = HTAP。
还有 HPCC Systems 大数据处理和分析平台，也是非常另类和一枝独秀。
大数据领域的核心数据库变迁：MongoDB -> Elasticsearch -> ClickHouse

数据网关

Stargate开源数据网关，所有数据统一存储在 Apache Cassandra

桌面

SQuirreL SQL Client（NetBeans）比 DBeaver（Eclipse）更加自由开放，没有收费的企业版。
Kettle
KNIME

业务

Huihoo Data Science

Data Analytics
Data Engineering
数据挖掘、统计工程、机器学习
数据库、数据仓库
Kettle 数据集成、ETL
DBeaver for Eclipse 数据库管理
增长营销、增长黑客
OpenAds广告业务
灰狐教育、知识图谱、问答系统、智能机器人（灰狐）：语言助手、聊天Bot、告警Bot、虚拟助手等等，每一个设备都住着一位Bot。

DataOps

IBM 数据运营 DataOps

灰狐分析

以 KNIME 分析平台为核心工作台，展开各种数据科学应用和服务。

CHAOSS 是灰狐的一项核心服务，我们围绕它建立在开源软件、开源社区的分析和治理能力，Open Distro for Elasticsearch & ClickHouse 是基础设施。

CII Best Practices Badge Program 一个蛮有趣的开源项目可关注。

GrimoireLab & CROSSMINER Two different philosophies to measure open source community health

Haskell

Haskell 是灰狐数据核心编程语言。

Haskell for 机器学习和数据科学。
PostgREST REST API for any PostgreSQL database PostgREST ecosystem

Lisp

in Lisp, code is data.

pgloader

项目

Huihoo Analytics：based on ClickHouse
关注 OpenZFS, Ceph
Apache Kafka核心数据聚合和流数据平台
RabbitMQ消息中间件
SMACK堆栈
KNIME、H2O
PostgreSQL、Apache Cassandra
Open data
PyData Python for Data

图集

Kafka流数据平台
Stargate数据网关

链接

Huihoo.IO
xxhadoop Data Analysis Using Hadoop/Spark/Storm/ES/ML etc. This is My Learning Notes/Code/Demo. Don't fork, Just star !
Tushare金融大数据给出了一个思路。