数据平台

数据平台层

流式实时计算 · 批量数据处理 · 主数据存储 · 湖仓一体架构

流式数据处理 Stream Processing

数据采集
API / Webhook / 日志
消息队列
Kafka 集群
实时计算
Flink 流处理
实时分析
ClickHouse / Redis
告警通知
钉钉 / 飞书 / 邮件

Kafka

消息队列，事件流

Flink

实时计算引擎

Flink CEP

复杂事件处理

Redis

实时缓存

ClickHouse

实时 OLAP

批量数据处理 Batch Processing

数据源
DB / 日志 / API
ETL 调度
Airflow / dbt
大数据计算
Spark 批处理
数据湖
Iceberg / MinIO
报表生成
看板 / 导出

Spark

大数据计算

Airflow

工作流调度

dbt

数据转换

MinIO

对象存储

Iceberg

湖仓一体

主数据存储 Primary Storage

PostgreSQL

  • 关系型主数据库
  • 按租户分片 (Citus)
  • 读写分离
  • RLS 行级安全
  • Patroni 高可用

TiDB

  • 分布式 NewSQL
  • 水平扩展
  • HTAP 混合负载
  • 强一致性
  • MySQL 协议兼容

Redis

  • Cluster 集群模式
  • 会话缓存
  • 热点数据
  • 分布式锁
  • 限流计数

Elasticsearch

  • 全文搜索引擎
  • 商品检索
  • 日志分析
  • 分词优化
  • 聚合查询

Milvus

  • 向量数据库
  • Embedding 存储
  • 相似度检索
  • 分布式集群
  • GPU 加速