spark

Spark运行原理

如果不熟悉<em>spark</em>的运行原理，那么在实际的生产当中，不论是调优还是debug...都会显得没有下手之处。因此我们必须对<em>Spark</em>作业的资源使用原理有一个清晰的认识...
蠟筆小噺没有烦恼·2020-04-10 13:26

spark从入门到放弃五十二:Spark Streaming(12)结合...spark Sql

文章地址：http://www.haha174.top/article/details/2536271.简介SparkStreaming强大的地方在于，可以于sparkcore和sparksql整合使用，之前已经通过transformforeachRDD等算子看到了如何将DStream种的RDD使用sparkcore执行批处理操作。现在就来看看如何将sparksql和sparkStreaming整
意浅离殇·2020-04-10 13:34

spark之java实现wordcount

;importorg.apache.<em>spark</em>....SparkConf;importorg.apache.<em>spark</em>...
閫嗛·2020-04-10 12:06

Hadoop Hbase Spark 配置文档详解

hadoop1.core-site.xml1.fs.defaultFShdfs默认端口2.hadoop.tmp.dirHadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。3.fs.trash.interval回收间隔（区间）fs.trash.
WJustHM·2020-04-10 10:24

Spark基本概念

<em>Spark</em>基本概念Application用户在<em>spark</em>上构建的程序，包含...<em>spark</em>应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示...
Jerry_Hao·2020-04-10 10:26

在linux上搭建spark环境

1、安装jdka.在root用户下进入/usr文件目录下b.创建java文件夹mkdirjavac.拷贝jdk文件压缩包到/usr/java/路径下cp/mnt/hgfs/linux/jdk-8u60-linux-x64.tar.gz/usr/java/d.解压压缩包tar-zxvfjdk-8u60-linux-x64.tar.gzf.可以为他设置一个链接（可以不用，最好不用没试过，黏贴别人的）l
仩渧哋寵·2020-04-10 08:49

Spark - 动态注册UDF

昨天有位大哥问小弟一个<em>Spark</em>问题，他们想在不停<em>Spark</em>程序的情况下动态...更新UDF的逻辑，他一问我这个问题的时候，本猪心里一惊，<em>Spark</em>**还能这么玩...
大猪大猪·2020-04-10 08:31

3.4 Spark通信机制

3.4<em>Spark</em>通信机制前面介绍过，<em>Spark</em>的部署模式可以分为local...、standalone、Mesos、YARN等。本节以<em>Spark</em>部署在standalone模式下为例...
Albert陈凯·2020-04-10 07:27

Spark统一内存管理

<em>spark</em>从1.6.0开始内存管理发生了变化，原来的内存管理...<em>spark</em>.memory.useLegacyMode来设置，默认该参数是关闭的。前面有一篇介绍<em>spark</em>内存管理的文章<em>spark</em>...
jacksu在简书·2020-04-10 07:44

【Spark Java API】Action(4)—sortBy

sortBy官方文档描述：ReturnthisRDDsortedbythegivenkeyfunction.函数原型：defsortBy[S](f:JFunction[T,S],ascending:Boolean,numPartitions:Int):JavaRDD[T]**sortBy根据给定的f函数将RDD中的元素进行排序。**源码分析：defsortBy[K](f:(T)=>K,ascend
小飞_侠_kobe·2020-04-10 07:05
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他