Spark程序在IDEA本地运行时报错解决
文章目录
报错信息: java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use
解决方式一: 设置应用程序的 VMoptions。IDEA的设置路径在:Run -> Edit Configurations -> Application选择对应的程序,设置VM options:-Xmx512M,或者:-Xms256m -Xmx1024m
解决方式二: 在创建SparkConf的时候代码设置: scala版本: val conf = new SparkConf() .setAppName("map").setMaster("local") .set("spark.testing.memory", "2147480000")
Java版本: SparkConf conf = new SparkConf().setAppName("map").setMaster("local").set("spark.testing.memory", "2147480000");
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论