软考找老孙
软考找老孙guoruankao.com
付费第5讲 / 共72讲

【2027版】第05讲:从"数据仓库"到"数据金矿"(存储、数据库与大数据)

更新于

【虚构案例声明】 本课程中的"美好家园"物业集团、"清华园社区"、"智慧邻里2.0"项目及全部人物均为教学所用的虚拟项目与虚构人物,详见第 01 讲首次声明。

一、上节回顾与作业精讲

1.1 上节核心回顾

上一讲咱们把"智慧邻里2.0"建在了云上。记忆钩子"一三三四四":一个定义(分布式处理架构),三个特点(快速、按需、弹性),三种服务类型(基础设施、平台、软件),四项关键技术(虚拟化、云存储、多租户访问控制、云安全),四大趋势(创新、垂直、混合、生态)。部署模式是决策工具不是教材小节,混合云是大中型组织的刚需。

1.2 上节作业讲评:性能归责的四步流程

上一讲的核心作业:晚上 8 点高峰手机端响应慢,开发负责人说是云厂商数据库读写次数达不到承诺的服务级别,云厂商说是开发团队的查询语句效率太低。双方互相甩锅,你怎么办?

我看了大家的作业,有同学站在开发团队一边要求换云厂商,有同学站在云厂商一边要求开发返工。都错。你不是法官,你是项目经理,你的首要目标不是"找到罪魁祸首",是"快速恢复用户体验",其次才是"定责并防止再犯"。顺序不能反。

第一步,止血优先,不争论。 当晚先做临时措施:让云厂商临时把数据库规格升一档,费用先记账;让开发团队把最慢的三个查询语句加缓存或限流。24 小时内用户投诉必须降下来。谁的责任以后再说,用户不等你们吵完。

第二步,用数据代替口供。 要求双方各交一份证据,格式我来定:云厂商交高峰时段数据库的实际读写次数、响应时间、资源利用率监控曲线,对照合同里承诺的服务级别指标;开发团队交高峰时段前二十条最慢查询语句的执行计划和耗时。两份材料放在一起,一眼就能看出是"平台没到承诺水平"还是"语句把平台拖垮了",或者两者都有。

第三步,引入第三方视角。 如果双方数据打架,请集团架构师或一位独立的数据库专家做一次联合复盘,在测试环境复现高峰场景:用开发团队的语句跑在合同规格的数据库上,看结果。这一步的意义不是审判,是让结论有一个双方都认的技术依据。

第四步,定责、改进、回写合同。 复盘结论通常是"两边都有责任":云厂商监控显示高峰时读写次数确实低于承诺,同时开发团队的语句也确实存在全表扫描。那就两边都改:云厂商按服务级别条款给出补偿或免费升配,开发团队限期优化语句并建立上线前的性能评审。最后把"性能验收标准"和"性能问题处置流程"回写进与云厂商的合同和与开发团队的工作规范里,下次不用再吵。

四步:止血、取证、复盘、回写。你注意,这套流程里没有一句"我觉得是谁的错"。项目经理处理甩锅的武器是流程和数据,不是立场。第 43 讲控制质量和第 55 讲监控项目工作会正式讲绩效数据怎么用。

二、咱们今天聊点啥?本讲目标

2.1 数据总得有地方放

物联网把清华园的数据采上来了,云计算把服务器问题解决了。现在每天几十万条刷脸记录、车位状态、缴费流水涌进来,三个问题摆在面前:

  1. 这些数据放在什么存储设备上?直接挂在服务器上,还是走网络放到专门的存储系统里?
  2. 用什么数据库管?传统的表格式数据库,还是现在流行的非关系型数据库?
  3. 攒了几年的数据怎么变成周总要的"经营洞察"?这就是大数据。

本讲对标教材第 4 版两节:2.1.3 存储和数据库,2.2.3 大数据。这两节 2025 年上半年各出了一题,一道考存储架构对比表,一道考"个性化推荐靠什么技术"。而且本讲直接对接"智慧邻里2.0"二期的核心工作:数据治理。2026 年上半年第一批次论文题就是"面向数据资源开发利用的质量管理",本讲是那篇论文的技术底子。

2.2 本讲任务地图

数据从存储到价值的四层

从下往上四层:存储设备(放在哪)、数据库(怎么管)、数据仓库(怎么汇总分析)、大数据(怎么从海量数据里掘金)。教材 2.1.3 讲前三层,2.2.3 讲第四层。

三、核心内容精讲:存储、数据库与大数据

3.1 存储三种架构:直连、网络接入、存储区域网络

教材口径: 存储分类根据服务器类型分为封闭系统的存储(大型机)和开放系统的存储(基于麒麟、欧拉、UNIX、Linux 等操作系统的服务器)。开放系统的存储分为内置存储和外挂存储。外挂存储根据连接方式分为直连式存储和网络化存储;网络化存储根据传输协议又分为网络接入存储和存储区域网络。

教材表 2-2 是考点所在,2025 年上半年第 2 题直接考了这张表。我把最常考的几行给你:

对比项 直连式存储 网络接入存储 存储区域网络
安装难易度 不一定 简单 困难
数据传输协议 SCSI/FC/ATA TCP/IP FC
传输对象 数据块 文件 数据块
使用标准文件共享协议 否 是 否
集中式管理 不一定 是 需要管理工具
灾难忍受度 低 高 高,专有方案
容量扩充能力 低 中 高
适合对象 中小组织服务器 中小组织、部门 大型组织、数据中心
业务模式 一般服务器 网页服务器、多媒体、文件共享 大型资料库、数据库

2025 年那道题问"关于直连式存储和网络接入存储的描述不正确的是",错误项说"直连式存储容量扩充能力高,网络接入存储容量扩充能力低",正好反了:直连是低,网络接入是中。

人话翻译:三种存储就是三种放东西的方式。 直连式存储是"硬盘直接插在服务器上",一台服务器一个仓库,谁也不共享,扩容得换更大的硬盘。网络接入存储是"局域网里放一台共享文件柜",大家通过网络存文件,传的是一个个文件,简单好管。存储区域网络是"专门修一条高速公路通向一个超级仓库",传的是数据块,速度快、容量大,但修路(光纤通道)贵、管理难,是大型数据中心的方案。

智慧邻里2.0 应用: 清华园一期业务量不大,一台网络接入存储放文件和备份就够。集团二期要汇聚 50 个小区的数据,业务模式变成"大型资料库、数据库",就得上存储区域网络,或者干脆用云存储。这就是第 4 讲混合云方案里私有云那部分的存储选型依据。

3.2 存储虚拟化与绿色存储

以上为部分预览,完整内容请登录后查看
微信扫码登录

登录查看完整内容

本讲属于"高项精品图文课程"课程内容。微信扫码登录后,系统会自动识别你的课程权限并直接返回本页。

使用微信扫描二维码,授权后自动登录并返回本页

二维码未显示?点此打开
🎬

本讲配套视频版

图文不够直观时看视频, 老孙亲讲讲透
高项精品视频课程

【2027版】第05讲:存储数据库与大数据

点击跳转 →

相关推荐

继续深入学习「高项精品图文课程」其他课时

回到顶部咨询