当前位置:首页 > 开发 > 数据库 > 正文

IT系统分析师如何学习大数据

发表于: 2015-07-07   作者:蓝儿唯美   来源:转载   浏览:
摘要: 我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢?学习大数据的最佳方法就是先从了解信息系统是如何工作着手,尤其是数据库和基础设施。同样在开始前还需要了解大数据工具,如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。系 统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能

我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢?

学习大数据的最佳方法就是先从了解信息系统是如何工作着手,尤其是数据库和基础设施。同样在开始前还需要了解大数据工具,如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。

系 统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能包含了各种来源的结构化数据和非结构化 数据——数据仓库、Hadoop、NoSQL、内存数据、文件以及应用程序——所以你必须学会组织数据,以便系统有效的处理他们。确保你的主数据一致性, 以避免出现多个版本的数据——多个不同步的数据库。

数据保护同样重要;要熟悉组织的数据安全处理过程,(www.yujingbl.com    世爵平台)同样还需要了解安全、合规性以及治理流程。根据数据敏感程度的不同、考虑屏蔽、编校或加密保护。

大数据源的定义

  • 数据仓库 
  • Hadoop
  • NoSQL
  • 内存数据 
  • 文件数据
  • 应用程序数据


在 接触这个项目之前的最后一步,考察客户对服务质量的要求。他们需要分析多大的数据,以及这些数据的响应速度。例如,对于大型数据库,近乎实时响应的需求会 需要将其放置在内存或者闪存缓存中。IBM的BLU Accelerator 和SAP HANA都十分适合在内存中快速读取的应用场景。此外,理解你用户的预期结果——他们正试图得到的答案。如果你知道他们需要的结果,就可以组织数据与系 统,以更有效的达到目标。

IT系统分析师如何学习大数据

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
如果你想成为网站分析师!想加入网站分析这个即有前途又有“钱途”的行业,那么你至少需要具备本文所
已经看了大数据相关知识一阵时间了,自己也是从新手开始的,所以看了大量的大数据如何入门的技术博
  大数据是眼下非常时髦的热词,同时也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分
Share my personal resources,本文贡献者为Zhe Yu 书籍 各种书~各种ppt~更新中~ http://pan.baidu.
很多牛逼的公司都宣称在建立数据科学部门,这个部门该如何组建,大家都在摸石头过河。 O‘reilly St
数据挖掘:What?Why? How? 这个问题思考了很久,作为过来人谈一谈,建议先看下以前的一些回答。
看数据挖掘方面的算法理论时经常感觉一些公式的推导过程如天书一般,例如看svm的数学证明,EM算法..,
  全球知名研究机构IDC预测,到2020年,全球数据规模将达到40ZB(泽字节),这意味着人均将拥有10
摘自《谁说菜鸟不会数据分析》第一章 http://blog.sina.com.cn/s/blog_49f78a4b0100rt9y.html Mr.林
前段时间在微博上看到一张某集团的数据分析师职位层级表,由于表格太大,在网页上显得字体太小,很
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号