软考找老孙
软考找老孙guoruankao.com
付费第20讲 / 共72讲

【2027版】第20讲:"智慧邻里2.0"的"地基":数据工程

更新于

【虚构案例声明】 本课程中的"美好家园"物业集团、"清华园社区"、"智慧邻里2.0"项目及全部人物均为教学所用的虚拟项目与虚构人物,详见第 01 讲首次声明。

一、上节作业讲评

1.1 七个类建几张表

上一讲的核心作业:数据库设计师小吴拿着领域类图问,七个类建几张表,一对多和组合怎么落,字段名和长度按什么定。提示是"模型分三层、标准管字段"。

先答分几层。教材 5.2.1 节把数据模型分成概念模型、逻辑模型、物理模型三类。小吴手里的领域类图相当于概念模型,它"按用户的观点来对数据和信息建模""不依赖于具体的计算机系统",七个概念类就是七个实体。从概念模型到逻辑模型,教材表 5-9 给了对应关系:实体转换为关系,属性转换为属性,联系"有可能转换为关系模型的新关系,被参照关系的主键转化为参照关系的外键"。所以七个类不一定是七张表:业主、房产、工单、报修图片、维修工、小区、外包单位七张基础表,加上工单和维修工如果是多对多(一条工单可能多个维修工协作)就要多一张关联表,这是"联系转换为新关系"。从逻辑模型到物理模型,再考虑索引、存储过程、触发器和"基于性能的需求可能进行反规范化处理",比如工单表冗余存一份业主姓名以免每次查询都连表。

再答组合和聚合怎么落。逻辑模型里两者都是外键:报修图片表有一个外键指向工单表,维修工表有一个外键指向小区表。区别在参照完整性的处理:组合关系里"部分"随"整体"消亡,所以工单删除时图片要级联删除;聚合关系里"部分"可以独立存在,所以小区撤销时维修工不删除,只把外键置空或转到别的小区。教材说关系的完整性约束有实体完整性、参照完整性和用户定义的完整性三类,级联删除还是置空,就是参照完整性的具体策略。

最后答字段格式。这是数据标准化的事,两处依据:第 12 讲数据治理的数据标准能力域,管理层面定谁负责、走什么流程;本讲 5.2.2 节数据标准化,技术层面定数据元的名称、数据类型、值域、长度。业主手机号这个数据元,对象类是业主,特性是手机号,表示是"字符,11 位,值域为国内手机号段",定好以后五十个小区的表照抄。

小吴的三个问题,答案分别在数据建模、完整性约束、数据标准化三处,正好是本讲的前三节。

二、地基怎么打:本讲目标

2.1 数据工程是什么

教材口径:数据工程是信息系统的基础工程。围绕数据的生命周期,规范数据从产生到应用的全过程,目标是为信息系统的运行提供可靠的数据保障和服务,为信息系统之间的数据共享提供安全、高效的支撑环境,为信息系统实现互连、互通、互操作提供有力的数据支撑。数据工程的主要研究内容包括数据建模、数据标准化、数据运维、数据开发利用和数据安全等理论和技术。

第 12 讲讲数据治理,是管理层面:谁管数据、按什么制度管、成熟到几级。本讲讲数据工程,是技术层面:数据怎么建模、怎么标准化、怎么存和备、怎么用、怎么保护。两讲的关系教材自己说了,4.2.1 节讲数据管理时说"使用工程的方法,开展组织数据能力建设与实施,见本书 5.2 节的数据工程"。管理定方向,工程做实现。

高项考这一节,综合知识每年一到两道:2023 年上半年第 10 题考了数据备份与容灾的关系,2023 年下半年第 2 批第 64 题考了数据标准化的内容,2023 年下半年第 4 批第 27 题考了数据分类与编码标准化的作用;2024 年上半年第 2 批第 30、31 题考了数据元标准制定步骤和数据集成第一步;2025 年上半年第 21 题考了数据元提取方法。2026 年上半年论文题第三问要求"结合相关国家标准,写出项目的三个评价数据准确性的指标及其计算方法",技术依据在本讲的数据质量评价与控制。

本讲要拿下三件事:

第一,数据建模三类模型、四步过程、概念模型五元素、关系模型完整性三类。

第二,数据标准化五项内容,尤其是数据元的三部分、两种提取方法、七步制定过程;数据运维的存储介质三种、备份结构四种策略三种、容灾两个指标;数据质量控制四环节和数据清理三步;数据开发利用五项技术;数据库安全的威胁、对策、机制。

第三,把领域类图变成集团数据库:三层模型、数据元标准、备份容灾方案、数据质量指标,并回答 2026 年论文题第三问。

2.2 本讲任务地图

任务 教材位置 考试形态 项目落点
三类模型、建模四步、完整性三类 5.2.1 模型归属、对应关系、提取方法 集团数据库三层设计
数据标准化五项、数据元 5.2.2 不包含、作用配对、步骤排序 业主数据元标准
存储、备份、容灾 5.2.3 第 1 至 3 点 备份与容灾关系、两个指标 集团数据备份容灾方案
数据质量评价与控制、数据清理 5.2.3 第 4 点 控制环节、清理三步、论文 数据质量指标
集成、挖掘、服务、可视化、检索 5.2.4 集成第一步、挖掘与分析区别 三期数据分析
数据库安全 5.2.5 威胁分类、对策、机制 人脸库安全

三、核心内容精讲:数据建模

3.1 概念、逻辑、物理三层

教材口径:数据建模是对现实世界中具体的人、物、活动和概念进行抽象、表示和处理,变成计算机可处理的数据,也就是把现实世界中的数据从现实世界抽象到信息世界和计算机世界。根据模型应用目的不同,可以将数据模型划分为三类:概念模型、逻辑模型和物理模型。

数据工程知识地图

概念模型也称信息模型,按用户的观点来对数据和信息建模,"不依赖于具体的计算机系统,也不对应某个具体的数据库管理系统,它是概念级别的模型"。教材表 5-8 给了五个基本元素:实体、属性、域、键、关联。实体是同一类型实例的抽象,"实例是具体的,而实体则是抽象的";属性是实体的特性;域是属性的取值范围,"域的元素必须是相同的数据类型";键是能唯一标识每个实例的一个属性或几个属性的组合;关联是实体之间的相互关系,包括一对一、一对多和多对多三种。对概念模型的要求四条:真实充分反映现实、简洁明晰独立于机器、易于变动、容易向各种数据模型转换。

以上为部分预览,完整内容请登录后查看
微信扫码登录

登录查看完整内容

本讲属于"高项精品图文课程"课程内容。微信扫码登录后,系统会自动识别你的课程权限并直接返回本页。

使用微信扫描二维码,授权后自动登录并返回本页

二维码未显示?点此打开
🎬

本讲配套视频版

图文不够直观时看视频, 老孙亲讲讲透
高项精品视频课程

【2027版】第20讲:数据工程

点击跳转 →

相关推荐

继续深入学习「高项精品图文课程」其他课时

回到顶部咨询