ACA(大数据助理工程师备考)笔记

为什么

1.移动互联网发展

2.数据价值

3.存储和计算能力提升

4v

1.体积巨大

2.处理速度快

3.价值密度低

4.种类多

来源

结构化

半结构化

非结构化

云计算大数据关系

云计算提供 计算与存储

大数据 在其基础上进行应用

比如

ACA(大数据助理工程师备考)笔记_第1张图片

大数据发展历史

ACA(大数据助理工程师备考)笔记_第2张图片

大数据处理问题思路

分而治之

存储技术

分布式文件系统

大数据分析技术

ACA(大数据助理工程师备考)笔记_第3张图片

 Hadoop生态圈

ACA(大数据助理工程师备考)笔记_第4张图片

阿里云大数据产品

ACA(大数据助理工程师备考)笔记_第5张图片

业务流程

ACA(大数据助理工程师备考)笔记_第6张图片产品映射

ACA(大数据助理工程师备考)笔记_第7张图片

 存储与数据库产品

ACA(大数据助理工程师备考)笔记_第8张图片

数据同步

ACA(大数据助理工程师备考)笔记_第9张图片

数据开发与分析

ACA(大数据助理工程师备考)笔记_第10张图片

应用

ACA(大数据助理工程师备考)笔记_第11张图片

构建离线数据仓库

将各种不同数据源的的不同类型数据同步至MaxCompute中,在MaxCompute中完成数据批处理后,再同步至相关的数据库进行展示。

ACA(大数据助理工程师备考)笔记_第12张图片

实时流处理

通过DataHub工具,将ECS集群.上业务系统产生的实时数据或者日志同步至MaxCompute
中进行加工处理,处理后的数据同步至云数据库; .或者直接进行实时计算,将实时计算的结果,同步保存至云数据库,供实时或离线应用使用。

ACA(大数据助理工程师备考)笔记_第13张图片

 构建应用系统

业务系统在ECS集群部署相关的应用程序,相关的业务数据存储在云数据库RDS内;通过数据工场DataWorks将数据库RDS内的业务数据同步至大数据计算服务MaxCompute中,进行数据加工处理后,再通过DataWorks同步至数据库RDS中;数据库RDS、数据计算服务MaxCompute中的数据可通过DataV.Quick BI进行展示。

ACA(大数据助理工程师备考)笔记_第14张图片 营销数据分析

业务系统的业务数据分别存储在数据库RDS、数据库MongoDB中;通过DataWorks将业务数据同步至MaxCompute中,进行数据加工处理,然后通过机器学习PAI进行数据挖掘,为系统提供营销推荐功能,或者直接使用Quick Bl进行数据分析展现;也可直接将业务数据通过DataWorks同步至
云原生数据仓库AnalyticDB进行分析,并使用Quick BI工具进行多维组合查询。

 ACA(大数据助理工程师备考)笔记_第15张图片

maxcompute

大数据计算服务(MaxCompute) 是一种快速、完全托管的EB级数据仓库解决方案。
●致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。
●适用于100GB以 上规模的存储及计算需求,最大可达EB级别。
●支持SQL、 MapReduce、 UDF (Java/Python) 、Graph、 基于DAG的处理、交互式、内存计算、机器学习等计算类型及MPI迭代类算法。简化了企业大数据平台的应用架构。

分布式
分布式集群架构
跨集群技术突破
集群规模可扩展

安全性
自动存储容错
安全沙箱机制
冗余存储机制

易用性
标准接口服务
数据上传下载
支持SQL语句.

管理与授权
多用户的管理协同
多种方式权限管理
灵活访问控制策略

低成本
免运维
弹性伸缩
灵活计费模式

maxcompute逻辑架构

接入层

ACA(大数据助理工程师备考)笔记_第16张图片

逻辑层

 ACA(大数据助理工程师备考)笔记_第17张图片

计算层

ACA(大数据助理工程师备考)笔记_第18张图片

QuickBI

商业智能(Business Intelligence,简称: BI) ,又称商业智慧或商务智能,指用现代数据仓库技
术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
●商业智能是一种将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。是对商业信息的搜集、管理和
分析过程。
●商业智能通过数据分析平台或BI报表工具中构建分析报表或可视化图表等手段,对数据分析结果进行可视化呈现,目的是让
企业的决策者获得知识或洞察力,做出更有利的决策。

ACA(大数据助理工程师备考)笔记_第19张图片

BI报表工具以数据仓库为基础,通过表格及一系列可视化图表为企业管理者提供决策支持,帮助管理
者更加快速精确的洞查业务机会,提升企业竞争力。
●通过数据分析平台(BI报表工具)可方便快捷的实现多元化的报表设计以及数据分析。
通过BI报表工具中常用的图表组件可构建可视化应用。
●通过集合多个可视化应用可构建数据门户进行各业务专题分析。

产品架构

ACA(大数据助理工程师备考)笔记_第20张图片

聚类算法

ACA(大数据助理工程师备考)笔记_第21张图片

机器学习步骤

ACA(大数据助理工程师备考)笔记_第22张图片

你可能感兴趣的