欢迎大家赞助一杯啤酒🍺 我们准备了下酒菜：Formal mathematics/Isabelle/ML, Formal verification/Coq/ACL2, C++/F#/Lisp
灰狐数据
小 (→大数据) |
小 (→简介) |
||
| 第6行： | 第6行： | ||
灰狐数据是[[灰狐咨询]]的大数据、数据存储、数据分析业务。 | 灰狐数据是[[灰狐咨询]]的大数据、数据存储、数据分析业务。 | ||
| − | 我们理解的大数据三剑客：[[Apache Cassandra]]、[[Apache Kafka]] 和 [[Elasticsearch]]，我们持续的深度耕耘，帮助客户构建更强大的大数据基础设施。 | + | [[PostgreSQL]], [[ScyllaDB]] 是灰狐核心数据库引擎。 |
| + | |||
| + | 我们理解的大数据三剑客：[[Apache Cassandra]]/[[ScyllaDB]]、[[Apache Kafka]] 和 [[Elasticsearch]]，我们持续的深度耕耘，帮助客户构建更强大的大数据基础设施。 | ||
[[Elassandra]] = [[Elasticsearch]] + [[Apache Cassandra]] | [[Elassandra]] = [[Elasticsearch]] + [[Apache Cassandra]] | ||
2022年1月13日 (四) 04:01的版本
灰狐数据
目录 |
简介
一切皆数据，数据即洞察。
灰狐数据是灰狐咨询的大数据、数据存储、数据分析业务。
PostgreSQL, ScyllaDB 是灰狐核心数据库引擎。
我们理解的大数据三剑客：Apache Cassandra/ScyllaDB、Apache Kafka 和 Elasticsearch，我们持续的深度耕耘，帮助客户构建更强大的大数据基础设施。
Elassandra = Elasticsearch + Apache Cassandra
Elasticsearch 和 Apache Cassandra 是灰狐数据的核心存储支撑，Apache Kafka 核心数据聚合和流数据平台，Metabase/Apache Superset是BI和分析门户。Elasticsearch Hadoop
Solve Hadoop's “Last Mile" Problem with Elasticsearch Use Elasticsearch to easily search Apache Hadoop data.
大数据领域的瑞士军刀变迁：MongoDB -> Elasticsearch -> ClickHouse
数据库
D3 提供数据库和存储服务
PostgreSQL 和 ClickHouse 也是我们长期提供LTS服务的核心数据库。
Huihoo Analytics：基于 Analytical DBMS ClickHouse 构建，打造一套类似 Elasticsearch Elastic Stack 的解决方案。
ChapterX 提供 πDB数据库、 一体机、服务的发展思路可借鉴。
数据库迁移
pgloader服务
- Migrate from MySQL to PostgreSQL
- Migrate from SQLite to PostgreSQL
- Migrate from Microsoft SQL Server to PostgreSQL
大数据
- ScyllaDB The Real-Time Big Data Database
- 围绕 PostgreSQL & Greenplum 的 MPP大数据平台，OLTP + OLAP = HTAP。
- 还有 HPCC Systems 大数据处理和分析平台，也是非常另类和一枝独秀。
- 大数据领域的核心数据库变迁：MongoDB -> Elasticsearch -> ClickHouse
数据网关
Stargate开源数据网关，所有数据统一存储在 Apache Cassandra
桌面
业务
Huihoo Data Science
- Data Analytics
- Data Engineering
- 数据挖掘、统计工程、机器学习
- 数据库、数据仓库
- Kettle 数据集成、ETL
- DBeaver for Eclipse 数据库管理
- 增长营销、增长黑客
- OpenAds广告业务
- 灰狐教育、知识图谱、问答系统、智能机器人（灰狐）：语言助手、聊天Bot、告警Bot、虚拟助手等等，每一个设备都住着一位Bot。
DataOps
灰狐分析
以 KNIME 分析平台为核心工作台，展开各种数据科学应用和服务。
CHAOSS 是灰狐的一项核心服务，我们围绕它建立在开源软件、开源社区的分析和治理能力，Open Distro for Elasticsearch & ClickHouse 是基础设施。
CII Best Practices Badge Program 一个蛮有趣的开源项目 可关注。
GrimoireLab & CROSSMINER Two different philosophies to measure open source community health
Haskell
- Haskell for 机器学习和数据科学。
- PostgREST REST API for any PostgreSQL database PostgREST ecosystem
Lisp
in Lisp, code is data.
项目
- Huihoo Analytics：based on ClickHouse
- 关注 OpenZFS, Ceph
- Apache Kafka核心数据聚合和流数据平台
- RabbitMQ消息中间件
- SMACK堆栈
- KNIME、H2O
- PostgreSQL、Apache Cassandra
- Open data
- PyData Python for Data
图集
Kafka流数据平台
Stargate数据网关
链接
- Huihoo.IO
- xxhadoop Data Analysis Using Hadoop/Spark/Storm/ES/ML etc. This is My Learning Notes/Code/Demo. Don't fork, Just star !
- Tushare金融大数据 给出了一个思路。
