当前位置:首页 > 开发 > 开源软件 > 正文

【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题

发表于: 2015-04-03   作者:bit1129   来源:转载   浏览:
摘要: 包括Spark Streaming在内的实时计算数据可靠性指的是三种级别: 1. At most once,数据最多只能接受一次,有可能接收不到 2. At least once, 数据至少接受一次,有可能重复接收 3. Exactly once  数据保证被处理并且只被处理一次,   具体的多读几遍http://spark.apache.org/docs/lates

包括Spark Streaming在内的实时计算数据可靠性指的是三种级别:

1. At most once,数据最多只能接受一次,有可能接收不到

2. At least once, 数据至少接受一次,有可能重复接收

3. Exactly once  数据保证被处理并且只被处理一次,

 

具体的多读几遍http://spark.apache.org/docs/latest/streaming-kafka-integration.html吧,实在不想总结整理了

【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Spark Streaming uses a “micro-batch” architecture, where the streaming computation is treat
作者:周志湖 主要内容 Spark Streaming与Kafka版的WordCount示例(一) Spark Streaming与Kafka版
目标 1.了解需求 网上有很多这种入门的demo,主要是一个实时计算手机点击率,在redis中存入手机的un
了解Spark Streaming之前,建议先了解Spark,入门博文Spark初探 定义 Spark Streaming is an extens
介绍 Spark Streaming架构图 the micro-batch architecture of Spark Streaming Execution of Spark
1. Spark Streaming 提到spark streaming,我们就必须了解一下BDAS(Berkeley Data Analytics Stack
参考,http://spark.incubator.apache.org/docs/latest/streaming-programming-guide.html Overview
Spark Streaming 是基于spark的流式批处理引擎,其基本原理是把输入数据以某一时间间隔批量的处理,
http://www.cnblogs.com/shenh062326/p/3946341.html 其实流程是从这里转载下来的,我只是在流程叙
Spark Streaming的Window Operation可以理解为定时的进行一定时间段内的数据的处理。 不要怪我语文
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号