软考找老孙
软考找老孙guoruankao.com
免费第97讲 / 共211讲

8.3.6 现代数据架构

更新于首发
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构

现代数据架构
数据湖等四种

数据越来越多、越来越快,传统架构不够用了,于是有了现代数据架构。
说人话:现代架构四种——数据湖、云原生、实时、数据应用。其中数据湖是把所有原始数据「一锅烩」存起来的大湖。
01
数据湖
原始数据一锅烩
02
云原生+实时
Lambda / Kappa
03
数据应用
微服务 + 数据API
一句话先记住:数据湖管不好就变「数据沼泽」——必须配强数据治理、元数据、质量和安全。
大话官方教材 · 系规 1 / 5
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构

现代架构四种

数据湖 / 云原生 / 实时 / 应用
1

数据湖架构

集中存原始的结构化/半/非结构化数据,无模式或灵活模式,海量可扩展

2

云原生数据架构

用云计算+容器化+微服务,高可扩展、高可用、高性能

3

实时数据架构

五层:接入/存储/计算/平台/应用;分 Lambda、Kappa 两种

4

数据应用架构

微服务 + 数据 API 服务,快速开发部署、灵活扩展

大话官方教材 · 系规 2 / 5
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构

Lambda vs Kappa

实时数据两种架构
Lambda 架构
  • 分实时流 + 离线两条分支
  • 三层:批处理层、速度层、服务层
  • 保实时性 + 最终一致性,但维护两套代码
Kappa 架构
  • 合并实时和流,用消息队列替代
  • 全程用流系统处理全量数据
  • 解决了 Lambda 维护两套代码的问题
记法:Lambda「实时 + 离线两条路」(要维护两套),Kappa「只走流这一条路」(在 Lambda 上优化合并)。
大话官方教材 · 系规 3 / 5
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构

记牢这几点

考试这样抓
现代架构四种:数据湖、云原生、实时、数据应用
数据湖存原始数据、无模式/灵活模式;管不好变数据沼泽
实时数据五层:接入、存储、计算、平台、应用
实时两架构:Lambda(实时+离线两套)、Kappa(合并只走流)
记忆锚点
数据湖 = 原始数据「一锅烩」;Lambda 两条路(批+流),Kappa 一条路(只流)
《系统规划与管理师教程》第2版 8.3.6
大话官方教材 · 系规 4 / 5
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第8章 数据资源规划 · 8.3.6 现代数据架构

本节三句话带走

本节只记 3 句话
1现代架构四种:数据湖、云原生、实时、数据应用
2数据湖 = 原始数据一锅烩;管不好变数据沼泽
3实时两架构:Lambda(批+流两套)、Kappa(合并只走流)
教材锚点:《系统规划与管理师教程》第2版 8.3.6 现代数据架构
大话官方教材 · 系规 5 / 5
以上为部分预览,完整内容请登录后查看
微信扫码登录

登录查看完整内容

本讲属于"系规官方教材图文伴读课"课程内容。微信扫码登录后,系统会自动识别你的课程权限并直接返回本页。

使用微信扫描二维码,授权后自动登录并返回本页

二维码未显示?点此打开

相关推荐

继续深入学习「系规官方教材图文伴读课」其他课时

意见反馈
回到顶部咨询