Spark程序在IDEA本地运行时报错解决

Stella981
• 阅读 375

报错信息: java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use

解决方式一: 设置应用程序的 VMoptions。IDEA的设置路径在:Run -> Edit Configurations -> Application选择对应的程序,设置VM options:-Xmx512M,或者:-Xms256m -Xmx1024m

解决方式二: 在创建SparkConf的时候代码设置: scala版本: val conf = new SparkConf() .setAppName("map").setMaster("local") .set("spark.testing.memory", "2147480000")

Java版本: SparkConf conf = new SparkConf().setAppName("map").setMaster("local").set("spark.testing.memory", "2147480000");

点赞
收藏
评论区
推荐文章
Kent_Sun Kent_Sun
3年前
idea运行junit测试程序报错command line is too long. shorten command line for
idea运行junit测试程序报错commandlineistoolong.shortencommandlinefor...解决方法在项目根目录.idea/workspace.xml文件中添加一行代码xml<componentname"PropertiesComponent" ... <propertyname"d
Stella981 Stella981
2年前
Spark入门(二)
用Idea搭建我们的Spark环境用IDEA搭建我们的环境有很多好处,其中最大的好处,就是我们甚至可以在工程当中直接运行、调试我们的代码,在控制台输出我们的结果。或者可以逐行跟踪代码,了解spark运行的机制。因此我们选择了idea,当然Idea不是首选,当然也可以用其他工具。因为我们的Spark程序用scala和ja
Stella981 Stella981
2年前
IDEA集成Maven
4\.IDEA集成Maven1.目标能够掌握IDEA配置本地Maven2.路径1.在IDEA配置Maven2.配置默认的Maven环境3.讲解3.1配置Maven3.1.1更改idea打开新项目默认配置
Wesley13 Wesley13
2年前
IDEA的基本使用:让你的IDEA有飞一般的感觉
1.设置maven2.IDEA设置代码行宽度3.IDEA提示不区分大小写目录1.设置maven2.IDEA设置代码行宽度3.IDEA提示不区分大小写4.IntelliJ强制更新MavenDependencies5.idea的环境配置默认保存位置6.隐藏不想看到的文件或者文件夹(类似eclipse的filt
Stella981 Stella981
2年前
IDEA打开Maven项目找不到jar问题
这应该是IDEA的bug导致的,我发现不管是Eclipse建的项目,还是IDEA建的项目,都有可能出现本地Maven仓库有jar包,但是项目报错找不到jar包。今天找到解决方案了,记录一下:我发现同一个项目,通过git或者svn,clone相同的分支和版本,在某些电脑上正常,某些电脑上报错。实际上是IDEA在打开项目的时候会在根目录下生成一个以项
Stella981 Stella981
2年前
Android studio 解决问题Default Activity not found
昨天新建的项目,今天打开的时候,发现无法编译了。编译按钮无法点击,必须editconfiguration。并且报错defaultactivity notfound从网上搜索了解决方案。第一步:在AndroidMainfest.xml文件中,将设置成main的activity的路径。写成绝对路径,也就是需要packageName.cla
Stella981 Stella981
2年前
C#取得Web程序及WinForm程序的根目录路径的方法
取得控制台应用程序的根目录方法方法1、Environment.CurrentDirectory取得或设置当前工作目录的完整限定路径方法2、AppDomain.CurrentDomain.BaseDirectory获取基目录,它由程序集冲突解决程序用来探测程序集取得WinForm应用程序的根目录方法1、Environm
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
IDEA00 IDEA知识点汇总
一、从头搭建IDEA开发环境https://mp.weixin.qq.com/s/6jXHzkU8JfubhDsQJbwl8Q(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%2F6jXHzkU8JfubhDsQJbwl8Q)1下
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable