文章
flink submit new job提示Internal server error
1.提交jar包到flinkwebUI上sumbit一直出现错误ServerResponseMessage:Internalservererror.!图片.png(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/2f3
flink算子-Dataflows DataSource数据源
DataflowsDataSource数据源Flink内嵌支持的数据源非常多,比如HDFS、Socket、Kafka、CollectionsFlink也提供了addSource方式,可以自定义数据源FileSource通过读取本地、HDFS文件创建一个数据源
Kafka源码阅读之:日志段 kafka.log.LogSegment
序言笔者在平时工作中时时都在享受kafka的性能和稳定性,但始终没有机会真正了解kafka的设计思想和设计原理,最近报名了极客时间的一门课,开始坚持阅读kafka源代码。在此期间我也会持续更新自己梳理注释过的源代码。鉴于本人的Scala代码能力有限,加上kafka的代码层次较深,在阅读源
Have A Flink Try
TOCHaveAFlinkTry<blockquoteTIPS<br/1.在使用map等方法时,传入的方法可使用匿名实现的方式,通过open,close,getRuntimeContext等方法实现更复杂的需求(比如自定义计数器、累加器、广播变量等)</blockq
Spark Kmeans的平方欧氏距离和误差平方和及源码分析
1.欧氏距离d(x,y)√((x1y1)^2(x1y2)^2…(xnyn)^2)2.squaredEuclideandistance平方欧式距离SparkKMeans的距离公式是使用了平方欧式距离,平方欧氏距离就是欧式距
Flink批量广播变量使用以及ml mapWithBcVariable方法使用
方法1:使用flinkDataSetAPI<pre<codepoints.map(newSelectNearestCenter).withBroadcastSet(currentCentroids,&34;centroids&34;)//申明对map操作进行广播</code<
Maven打tar包(Scala项目,Apache目录结构)
1.场景需求用Maven写了个scala项目,项目里有shell脚本。1.需要把scala代码打成一个jar包,调用shell脚本来执行jar包。2.整个项目的目录结构仿照Apache的项目那样,bin和sbin存放shell脚本,conf存放配置文件,lib存放依赖包,logs存放日志
Scala学习系列(二)——环境安装配置
!file(https://imghelloworld.osscnbeijing.aliyuncs.com/imgs/10c0da75930847a6d42d28d44c522e48.png)Scala下载地址:https://www.scalalang.org/do...(h
Scala并发编程
并发编程在Java中,多线程访问共享数据的时候会存在【线程安全】问题Scala的多线程使用了新的通信机制通过发送消息来通信,没有了共享数据,从而实现并发编程Scala使用的是Akka框架,Akka通过Actor模式实现高并发Akka是使用Scala语言编写的用法高并发的编
整理常用Scala函数代码供大家参考(附wordcount源码)
随着大数据的发展,spark逐渐成为主流技术之一,而且支撑的scala语言也成为做大数据热门的编程语言之一,在家无聊,就将scala中一些常用的的scala的高端函数以及set、map等代码进行整理,在最后有一个完整的wordcount大数据入门源码偏应用函数<blockquote
已加载文章中没有匹配内容,试试其他关键词或清空搜索。