Spark2.0.0与Elasticsearch6.5的jar包冲突问题

1. 问题

在工作中,多次遇到了jar包冲突的情况,就以这个为例,整理下解决思路。

现有某Spark程序,从Elasticsearch中读取数据进行后续的各种分析。当Spark版本是2.0.0,Elasticsearch的版本是5.2的时候,程序能够正常运行;后来由于项目需要,将Elasticsearch版本升级到了6.5,而Spark版本依然是2.0.0,此时出现了以下情况,异常如下:


Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第1张图片
image.png

2. 问题分析和解决方案

上述异常其实是NoSuchMethodError,jar包冲突还表现为ClassNotFoundException、NoClassDefFoundError等情况。
针对本次遇到的NoSuchMethodError的问题,主要是两种情况引起的:

  1. 存在该类,但是类中的方法不存在;
  2. 存在多个包含该类的jar包,造成冲突。

分析如下:

2.1 查看该类在哪个jar包下

本次使用的是Eclipse进行开发的,可以按住快捷键 Ctr+Shift+t 查找项目中引用的jar包中哪些包含该类,弹出来如下窗口,输入异常中的类名:io.netty.buffer.CompositeByteBuf

Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第2张图片
1936008-27319916bfa8887c.png

从检索结果中可以看出,netty-buffer-4.1.30.Final.jar和netty-all-4.0.29.Final.jar都包括这个类。
在依赖包下看到引入顺序是先引入netty-all-4.0.29.Final.jar再引入netty-buffer-4.1.30.Final.jar


Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第3张图片
image.png

点进去每个jar包看了下该类下的方法,发现两个jar包都有报错中的方法存在,这就很奇怪了,修改的方法有两种:
1)将低版本删除,也就是删除了netty-all-4.0.29.Final.jar ,再次运行程序正常;
2)将netty-buffer-4.1.30.jar的引用顺序挪到netty-all-4.0.29.jar的上面,问题得以解决。
此时local 模式异常得以解决。

此处有一点不明白为什么都包含该方法却提示方法不存在。有没有大神可以解释下。

如果是在Linux环境,可以采用如下命令检测某个类是否在某个jar包下:

jar -tf xxxxx.jar | grep "io.netty.buffer.CompositeByteBuf"

image.png

同样可以采用反编译软件jd-gui反编译jar包,查看是否包含某个类和类中的方法。

2.2 Spark Standalone集群运行异常

将程序打包到Spark集群,启动方式为Standalone-client模式,脚本如下:


Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第4张图片
1936008-8565dd661dc7b110.png

就出现一个问题,上面解决方案中删除的是netty-all-4.0.29.Final.jar或者调整引用顺序,这个包其实是Spark2.0所依赖的包;

我们知道yarn集群的Spark程序是先加载Spark集群上每个节点的{Spark_HOME}/jar的包,再加载程序中依赖的其他jar包。为了保证Spark下低版本的netty不会覆盖程序中ES依赖的高版本netty,可以采用配置启动参数,保证先加载用户程序依赖的jar包:

spark.executor.userClassPathFirst=true
spark.driver.userClassPathFirs=true

运行之后,出现异常如下:


Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第5张图片
image.png

异常栈里的类io.netty.util.ReferenceCountUtil检测了下是存在netty-all-4.0.29.Final.jar类中的,由于上面采用高版本的netty4.1覆盖了低版本的netty4.0导致了这种问题出现,最终的解决方案是升级Spark到2.3.0版本,该版本的Spark的netty包和Elasticsearch的netty包都是4.1版本。问题得以解决。如下图为maven repository下Spark2.3.0运行库的jar包。


Spark2.0.0与Elasticsearch6.5的jar包冲突问题_第6张图片
image.png

你可能感兴趣的