博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark-shell 启动报错
阅读量:5222 次
发布时间:2019-06-14

本文共 1226 字,大约阅读时间需要 4 分钟。

错误如下:

[root@hadoop conf]# spark-shell --master local[2]Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018) at java.lang.Class.getMethod(Class.java:1784) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:715) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 10 more

 

 

解决方法: 

spark-env.sh添加

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

 

具体参考官网

转载于:https://www.cnblogs.com/kxgdby/p/7956589.html

你可能感兴趣的文章
springCore 官方文档 中英对照 翻译 5.1.7版(一)
查看>>
PHP闭包和匿名函数
查看>>
JSON 转JAVA代码
查看>>
jquery cache data
查看>>
hdu5723 多校第一题,longlong
查看>>
[转]三维数字地球发布平台探索--几款开源软件介绍
查看>>
[转]地图投影的N种姿势
查看>>
mysql小技巧
查看>>
使用FileReader()预览图片
查看>>
htop详解
查看>>
数据库隔离级 ( Isolation level )
查看>>
每日一问:谈谈 SharedPreferences 的 apply() 和 commit()
查看>>
[SQLServer大对象]——FileTable从文件系统迁移文件
查看>>
String.format
查看>>
cookie and Session
查看>>
asp.net core 使用 StaticFiles 中间件 (不完整翻译)
查看>>
SQL Server数据库操作(二)
查看>>
java数组转json
查看>>
UML之关系
查看>>
Google开源C++单元测试框架Google Test【转】
查看>>