@软考找老孙 出品
系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构
现代数据架构
数据湖等四种
数据越来越多、越来越快,传统架构不够用了,于是有了现代数据架构。
说人话:现代架构四种——数据湖、云原生、实时、数据应用。其中数据湖是把所有原始数据「一锅烩」存起来的大湖。
说人话:现代架构四种——数据湖、云原生、实时、数据应用。其中数据湖是把所有原始数据「一锅烩」存起来的大湖。
01
数据湖
原始数据一锅烩
›
02
云原生+实时
Lambda / Kappa
›
03
数据应用
微服务 + 数据API
一句话先记住:数据湖管不好就变「数据沼泽」——必须配强数据治理、元数据、质量和安全。
大话官方教材 · 系规
1 / 5
@软考找老孙 出品
系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构
现代架构四种
数据湖 / 云原生 / 实时 / 应用
1
数据湖架构
集中存原始的结构化/半/非结构化数据,无模式或灵活模式,海量可扩展
2
云原生数据架构
用云计算+容器化+微服务,高可扩展、高可用、高性能
3
实时数据架构
五层:接入/存储/计算/平台/应用;分 Lambda、Kappa 两种
4
数据应用架构
微服务 + 数据 API 服务,快速开发部署、灵活扩展
大话官方教材 · 系规
2 / 5
@软考找老孙 出品
系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构
Lambda vs Kappa
实时数据两种架构
Lambda 架构
- 分实时流 + 离线两条分支
- 三层:批处理层、速度层、服务层
- 保实时性 + 最终一致性,但维护两套代码
Kappa 架构
- 合并实时和流,用消息队列替代
- 全程用流系统处理全量数据
- 解决了 Lambda 维护两套代码的问题
记法:Lambda「实时 + 离线两条路」(要维护两套),Kappa「只走流这一条路」(在 Lambda 上优化合并)。
大话官方教材 · 系规
3 / 5
@软考找老孙 出品
系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构
记牢这几点
考试这样抓
✓现代架构四种:数据湖、云原生、实时、数据应用
✓数据湖存原始数据、无模式/灵活模式;管不好变数据沼泽
✓实时数据五层:接入、存储、计算、平台、应用
✓实时两架构:Lambda(实时+离线两套)、Kappa(合并只走流)
记忆锚点
数据湖 = 原始数据「一锅烩」;Lambda 两条路(批+流),Kappa 一条路(只流)
《系统规划与管理师教程》第2版 8.3.6
大话官方教材 · 系规
4 / 5
@软考找老孙 出品
系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构
本节三句话带走
本节只记 3 句话
1现代架构四种:数据湖、云原生、实时、数据应用。
2数据湖 = 原始数据一锅烩;管不好变数据沼泽。
3实时两架构:Lambda(批+流两套)、Kappa(合并只走流)。
教材锚点:《系统规划与管理师教程》第2版 8.3.6 现代数据架构
大话官方教材 · 系规
5 / 5