Spark Streaming(3):Windows设置checkpoint目录方法
文章目录
引用:http://blog.csdn.net/u012684933/article/details/46124957
Windows环境下设置spark streaming checkpoint:
1.下载zip包,比如解压到D:\checkpoint\
https://github.com/srccodes/hadoop-common-2.2.0-bin/archive/master.zip
2.在spark程序执行前添加一行代码:
System.setProperty("hadoop.home.dir", "D:\\checkpoint\\hadoop-common-2.2.0-bin-master");
3.最后这样设置checkpoint:
jssc.checkpoint("file:///D:/checkpoint/");
评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论