软考找老孙
软考找老孙guoruankao.com
免费第13讲 / 共211讲

1.3.4 大数据

更新于首发
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

大数据
不是多就有用

「我数据很多,所以我很先进」——不一定。
大数据的关键不是「多」,而是能在海量里把有用的东西快速分析出来。
01
记4V
量·类·值·速
02
抓技术
获取→处理→管理→应用
03
辨系统
Hadoop·Spark·Storm
一句话先记住:大数据 4V 里 Value 是价值密度低不是高;速度快是它区别于传统数据挖掘的最显著特征。
大话官方教材 · 系规 1 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

大数据是什么

教材定义:新处理模式的信息资产
一句话
常规软件工具在一定时间内无法捕捉、管理、处理的数据集合。
靠什么
要靠新处理模式才能有更强的决策力、洞察力和流程优化能力。
本质
海量、高增长率、多样化的信息资产
五大特征
容量大、类型多、速度快、精度准、价值高(产业层面)。
大话官方教材 · 系规 2 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

大数据 4V 特点

四个特征,盯紧价值密度
V1

规模性 Volume

体量大

非结构化占 80%~90%,单位从 GB→TB→PB→EB→ZB。

V2

多样性 Variety

类型多

结构化 + 非结构化(日志/音视频/图片/位置)。

V3

价值密度 Value

密度低

整体价值高但单位价值密度低——最常被考反。

V4

速度 Velocity

速度快

要实时分析非批量;区别传统挖掘的最显著特征

大话官方教材 · 系规 3 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

四大关键技术

大数据技术架构四部分
1
获取技术
数据采集、整合、清洗三方面,提升数据质量。
2
分布式处理
任务分解并行处理;主流 Hadoop·Spark·Storm。
3
管理技术
大数据存储、多数据中心协同、安全隐私。
4
应用与服务
面向业务的分析应用技术 + 可视化技术。
大话官方教材 · 系规 4 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

三大分布式计算系统

Hadoop·Spark·Storm 怎么分
H

Hadoop

离线·复杂

常用于离线的、复杂的大数据处理。

S

Spark

离线·快速

常用于离线的、快速的大数据处理。

St

Storm

在线·实时

常用于在线的、实时的大数据处理。

大话官方教材 · 系规 5 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

大数据用在哪

应用五大领域
互联网
挖掘用户行为反哺业务;数据资产化、大数据交易成新方向。
政府
公共数据剖析共享,提升社会治理与监管水平。
金融
大数据征信——信任管理、风控、借贷服务。
工业
海量数据指导生产,如航运预测与调度优化。
民生
更好服务民生,如疾病预测(流感发病趋势)。
大话官方教材 · 系规 6 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

盯紧 Value

考试这样抓 + 易混点
「价值密度高」错;应是「价值密度低」
速度快=区别传统数据挖掘的最显著特征
Hadoop 离线复杂 / Spark 离线快速 / Storm 在线实时
数据多≠有价值,要靠清洗·关联·分析
选择题真题锚点
一堆数据不清洗不分析≠价值;价值密度低,要靠分析挖掘
真题 xg_2017x_022 / xg_2018s_012
大话官方教材 · 系规 7 / 8
@软考找老孙 出品 系规官方教材伴读课
《系统规划与管理师教程》第2版
第1章 信息系统与信息技术发展 · 1.3.4 大数据

本节三句话带走

本节只记 3 句话
1大数据 4V:规模性·多样性·价值密度(低)·速度,速度快是区别传统挖掘的最显著特征。
2四大关键技术:获取→分布式处理→管理→应用服务
3三大系统:Hadoop(离线复杂)·Spark(离线快速)·Storm(在线实时)。
教材锚点:《系统规划与管理师教程》第2版 1.3.4 大数据
大话官方教材 · 系规 8 / 8
以上为部分预览,完整内容请登录后查看
微信扫码登录

登录查看完整内容

本讲属于"系规官方教材图文伴读课"课程内容。微信扫码登录后,系统会自动识别你的课程权限并直接返回本页。

使用微信扫描二维码,授权后自动登录并返回本页

二维码未显示?点此打开

相关推荐

继续深入学习「系规官方教材图文伴读课」其他课时

意见反馈
回到顶部咨询