大数据学习资源整理
文章目录
github地址 后面继续更新在github
utils4s包含各种scala通用、好玩的工具库demo和使用文档,通过简单的代码演示和操作文档,各种库信手拈来。
同时欢迎大家贡献各种好玩的、经常使用的工具库。
QQ交流群 432290475
微博:jacksu_
scala语法学习
说明:scala语法学习过程中,用例代码都放在scala-demo模块下。
快学scala电子书(推荐入门级书)
scala初学者指南(这可不是初学者可以理解的欧,还是写过一些程序后再看)
scala学习用例
common库
日志操作(log4s)
单元测试(scalatest)
日期操作(lama)(注:只支持日期操作,不支持时间操作)
日期时间操作(nscala-time)(注:没有每月多少天,每月最后一天,以及每年多少天)
json解析(json4s)
resources下文件加载用例
文件操作(better-files)
单位换算(squants)
线性代数和向量计算(breeze)
分布式并行实现库akka(akka)
Twitter工具库(twitter util)
日常脚本工具
BigData库
Spark
Spark core
Spark Streaming
Spark Streaming使用Kafka保证数据零丢失
spark streaming测试用例
基于spark streaming的聚合分析(Sparkta)
Spark SQL
spark DataFrame测试用例
Hive Json加载
Spark 机器学习
KeyStoneML
KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.
spark TS
Spark 其它
spark学习知识总结
Spark library for doing exploratory data analysis in a scalable way
ES
贡献代码步骤
首先 fork 我的项目
把 fork 过去的项目也就是你的项目 clone 到你的本地
运行 git remote add jacksu git@github.com:jacksu/utils4s.git 把我的库添加为远端库
运行 git pull jacksu master 拉取并合并到本地
coding
commit后push到自己的库( git push origin master )
登陆Github在你首页可以看到一个 pull request 按钮,点击它,填写一些说明信息,然后提交即可。
1~3是初始化操作,执行一次即可。在coding前必须执行第4步同步我的库(这样避免冲突),然后执行5~7既可。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论