大数据MapReduce是什么

大数据是我们生活中非常常见的一个应用,大数据本身也已经渗透到了我们生活中的方方面面。那么华为云的大数据的核心优势在哪?有哪些我们还不知道的科技在这当中呢?下面我将给大家介绍华为云大数据的重点:MapReduce服务 MRS。

MapReduce服务 MRS是什么呢?

云原生数据湖MRS(MapReduce Service)为客户提供Hudi、ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生 态的高性能大数据组件,支持数据湖、数据仓库、BI、AI融合等能力。MRS同时支持混合云和公有云两种形态:混合云 版本,一个架构实现离线、实时、逻辑三种数据湖,以云原生架构助力客户智能升级;公有云版本,协助客户快速构建 低成本、灵活开放、安全可靠的一站式大数据平台。

知道了云原生数据湖MRS那就不得不讲一讲这个系统的优势在哪。

  1. 存算分离架构 计算和存储分离,统一数据湖, 消除数据孤岛,一份数据,无需 多次拷贝,多种计算引擎,存储 和计算资源灵活配比,各自按需 扩缩,性价比领先业界30% 。
  2. 极致性能体验 通过结合硬件、数据组织、计算 引擎、AI智能调优四级垂直优化,全栈式性能加速,同时具备 百万规模元数据毫秒级响应,为用户提供极致性能体验
  3. 领先开源技术 主流引擎Spark、Hive、Flink等 深度改造,拥有索引、缓存、元 数据等关键技术;自研 CarbonData毫秒级点查, Superior调度突破单集群20000 节点+ 。
  4. 高安全高可用支持单集群跨AZ高可用,无单 点故障,滚动补丁/升级,任务 断链重连,业务0中断;具备网 络资源隔离、账号安全、数据安 全管控等多级安全保障能力。

file

MapReduce服务与自建Hadoop集群对比

file
file
file
file

我们知道了MapReduce服务的优势所在,又明白了他相比于我们自建Hadoop集群优势大的多,那么有多少企业在使用我们华为云的MapReduce服务呢?

美图公司。

 美图公司是中国领先的影像处理及社交平台,在全球拥有20.8亿用户,月均活跃用户超过2.95亿,每月因美而生超过60亿照片和视频。通过与华为云合作,改造后的美图核心业务访问时 延低至1s,运维效率提升约70%。

那么美图在进行业务拓展晋升的时候遇到的挑战是什么呢?

数据库服务稳定可靠性不足 美图数据库架构大多一主多从,主从库均依赖 DNS域名做负载均衡,容易出现热点问题、 负载不均等稳定性问题;无法完全自动化全量 备份和恢复,无法增量同步和限速,满足不了 业务多样化的场景。

大数据集群资源利用率低 随着数据量不断增大,大数据占比接近一半, 且计算资源和存储资源绑定,无法根据计算和存储的不同增长情况分别动态扩容。数据多份 拷贝,存储浪费,网络传输频繁。

运维工作量大成本高 美图的DBA人均维护数据库和实例多达 100+,人力严重不足,大量数据库日常运维 工作挤满DBA时间。采用的开源Hadoop自建 大数据平台,开源Bug和性能问题处理、集群 扩容等场景,均需要投入大量运维成

那么华为云是怎么解决的呢?

云原生助力美图7大业务模块平滑上云 基于对业务高性能的迫切需求,美图公司与华为启动战略合作, 首先将业务底座升级为云原生基础设施,实现性能、弹性伸缩能 力的极大提升,并通过云数据库+存算分离大数据的专属组合解 决方案,将7大业务模块平滑顺利迁移至华为公有云,实现了数 据库&大数据性能的极大提升和稳定运行 云数据库多项能力协同,提供多种容灾方式 基于华为云提供的关系型数据库服务读写分离、分布式高可用等 能力,分发请求压力,负载均衡,增强数据库稳定性和可靠性。 日常运维工作均通过数据库管控系统自动化平台完成,极大解放 了美图DBA繁重运维压力,对数据迁移、同步、订阅、灾备四 种场景做了适配,满足美图多方面业务需求,为数据安全保驾护 航 存算分离支撑大数据平台全面上云 华为云BigData Pro存算分离大数据解决方案,帮助美图实现AI 和大数据共云原生基础设施,计算和存储资源完全解耦,独立灵 活扩容;MRS大数据服务采用高性价比多核算力,100%兼容开 源生态,原有业务平滑上云,整体迁移“代码0修改,业务0中 断”;OBS多协议数据湖底座统一存储,一份数据自由流动,避 免重复拷贝。

本文由博客群发一文多发等运营工具平台 OpenWrite 发布

你可能感兴趣的