【效率提升】maven 转 gradle 实战 | 京东云技术团队

京东云开发者
• 阅读 135

一、灵魂三问

1、gradle 是什么?

一个打包工具, 是一个开源构建自动化工具,足够灵活,可以构建几乎任何类型的软件,高性能、可扩展、能洞察等。其中洞察,可以用于分析构建过程中数据,提供分析参考,方便排查问题和不断优化构建性能,以下一次编译分析报告。

【效率提升】maven 转 gradle 实战 | 京东云技术团队

2、有什么优势

参考官方文章,针对包含10 子模块的工程,相对 maven 构建速度,大概有 2-3 倍的性能提升,增量编译大概 7 倍的性能提升,参考官方

实测对比:

gradle 耗时 maven 耗时
全新构建(clean 及下载依赖包) 1m 35s 1m58s
全新构建(clean) 43s 60s
增量构建 14s 43s

gradle 执行命令: time gradle clean build package -x test

mvn 执行的命令: time mvn clean package -Dmaven.test.skip=true -f $(pwd) -T 1C -Dmaven.artifact.threads=16

综述,经过多轮测试,在增量编译场景优势比较突出平均有 2 倍的性能提升,工程模块越多效率提升越大。

3、迁移是否容易

摸着心口说,并不容易,虽然官方提供了一键迁移的工具,但是还是有一定学习成本,但改造完成确实节省了大把的时间,尤其是改了一两行代码再次编译时。

二、动动手试试

1、安装 gradle

推荐使用 sdkman ,主要用于工具多版本管理的工具,如 java 、gradle 、maven 等可以根据实际情况安装使用其中某个一个版本,如jdk8,jdk11 等,版本间切换非常简便。 sdk 介绍

sdk install  gradle 8.1.1

2、执行迁移命令

在当前 maven 工程下,执行如下的命令。

gradle init 
Found a Maven build. Generate a Gradle build from this? (default: yes) [yes, no] yes
Select build script DSL:
  1: Groovy
  2: Kotlin
Enter selection (default: Groovy) [1..2] 1
Generate build using new APIs and behavior (some features may change in the next minor release)? (default: no) [yes, no] no

不出意外下,会在默认子模块下添加 build.gradle 文件,如下图:

【效率提升】maven 转 gradle 实战 | 京东云技术团队

文件解释:

1)buildSrc/main/groovy/com.jd.pegasus.java-conventions.gradle :里面配置的是内网私服库地址。

repositories {
    mavenLocal()
    maven {
        url = uri('http://artifactory.jd.com/libs-releases')

        allowInsecureProtocol = true
    }

    maven {
        url = uri('http://artifactory.jd.com/libs-snapshots')

         allowInsecureProtocol = true
    }
    maven {
        url "https://plugins.gradle.org/m2/"
    }

}

2)gradle.properties :配置环境变量,必须设置 jvm 的参数,否则很容易 oom 。 更多配置

# gradle jvm 设置
org.gradle.jvmargs=-Xmx2g -XX:MaxMetaspaceSize=512m -XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8
# 开启并行编译
org.gradle.parallel=true



3)build.gradle :包含了编译过程中使用的插件,id 'com.jd.pegasus.java-conventions' 代表自定义的插件。 dependencies 为工程所使用的依赖。

plugins {
    id 'com.jd.pegasus.java-conventions'
}

dependencies {
    api project(':pegasus-service')
    api project(':pegasus-common')
    implementation 'org.springframework.boot:spring-boot:2.1.9.RELEASE'
    api project(':component-metric')
    testImplementation 'org.springframework.boot:spring-boot-starter-test:2.1.9.RELEASE'
    annotationProcessor 'org.projectlombok:lombok:1.18.10'
}

description = 'pegasus-worker'

这里面有一个dependencies 依赖项中 api 与 implementation 区别,参见如下解释:

假设你正在维护一个名为 MyLibrary 的库,它依赖于另一个库 InternalLibrary。你希望 MyLibrary 的用户能够使用 InternalLibrary 中的某些类和方法,但不希望他们使用其他类和方法。在这种情况下,你可以在 MyLibrary 的 build.gradle 文件中使用 api 配置来声明对 InternalLibrary 的依赖:

dependencies {

api project(':InternalLibrary')

}

这样,当其他模块依赖于 MyLibrary 时,它们也能够访问 InternalLibrary 中的类和方法。

但是,如果你不希望 MyLibrary 的用户能够访问 InternalLibrary 中的任何内容,你可以在 MyLibrary 的 build.gradle 文件中使用 implementation 配置来声明对 InternalLibrary 的依赖:

dependencies {

implementation project(':InternalLibrary')

}

这样,当其他模块依赖于 MyLibrary 时,它们将无法访问 InternalLibrary 中的任何内容。

简单点就是如果你想把你依赖组件,让使用你组件人也知道的明明白白的也能使用,那你就用 api 把组件传递下去 ,反之就用 implementation ,就自个偷摸使用了,对第三方隐藏了一些内部细节。

3、gitignore 排除不要的目录和文件

# Gradle generated files
build/
.gradle/
/out/
/.gradle/

4、允许以不安全的方式访问私服库

# 在这个文件里面,buildSrc/main/groovy/com.jd.pegasus.java-conventions.gradle 

repositories {
    mavenLocal()
    maven {
        url = uri('http://artifactory.jd.com/libs-releases')

        allowInsecureProtocol = true
    }
}



5、解决 lombok 引发的编译问题

【效率提升】maven 转 gradle 实战 | 京东云技术团队

通过 lombok 注解会在编译过程中把注解的类进行扩展,添加 get 、set 、toString 方法等。

# 在编译出错的模块里面 build.gradle 文件中添加注解处理器,annotationProcessor  如下:
dependencies {
    api project(':pegasus-service')
    annotationProcessor 'org.projectlombok:lombok:1.18.10'
}

6、解决版本依赖冲突

版本冲突指同依赖组件出现不同的版本情况,如pegasus-common 模块依赖的 fastjson 有1.2.83-jdsec.rc1, 1.2.29 and 1.2.12 三个版本,gradle 会自动处理仲裁,规则有以下几点:

1)冲突时会默认采用最新的版本。

2)通过 strictly 标记主要用于降级到指定的版本,如传递依赖引入的版本高,当前版本不兼容,那可以通过这个关键字设置指定的版本。

implementation('com.alibaba:fastjson'){   
  version{       
    strictly("1.2.12")    
  } 
}
或者简写为 
implementation 'com.alibaba:fastjson:1.2.29!!!'

3)force 的优先级会比较高,会覆盖 strictly 策略

configurations.all {
    resolutionStrategy {
        // 在这里定义您的依赖解析规则
        //force 'com.alibaba:fastjson:1.2.12'
    }
}

排查某个模块的依赖冲突

gradle :pegasus-common:dependencyInsight --configuration compileClasspath --dependency com.alibaba:fastjson

7、如何构建 zip 包

以 springboot 为例,参考如下代码即可,在子工程 build.gradle 文件里。

。
plugins {
    id 'com.jd.pegasus.java-conventions'
    // 引入springboot 插件
    id 'org.springframework.boot' version '2.5.6'
}

// 指定 jar 启动的入口函数
bootJar {
    manifest {
        attributes 'Main-Class': 'com.jd.pegasus.Application'
    }
}
// 构建 zip 压缩包,包含启动脚本 bin 目录和 配置文件 conf 目录
task packageZip(type: Zip) {
    archiveFileName = "${project.name}-${project.version}.zip"
    destinationDirectory = file("${project.buildDir}")

    from("${project.projectDir}/src/main/bin") {
        into "bin"
    }
    from("${project.buildDir}/resources/main/conf") {
        into "conf"
    }

    from("${project.buildDir}/libs/${project.name}-${project.version}.jar") {
        into "lib"
    }
    // 表示此任务的运行依赖其它 子任务。
    dependsOn bootJar
    dependsOn build
}

8、执行构建命令

# -x test 排除单测
gradle clean  build package -x test  

三、附录参考

  1. 一文搞懂Gradle的依赖管理和版本决议

  2. gradle 与 maven 性能对比

  3. 爬坑指南 -- 理解 Plugin、Task、构建流程

  4. 如何定位和解决依赖冲突

  5. Gradle依赖之‘五种依赖配置’

  6. Migrating Builds From Apache Maven

后记:

听说 maven 不甘寂寞,由 gradle 和 Takari 的灵感,做了一个守护的 mvnd ,在增量编译场景效率杠杠的,有时间测试对比下。 mvnd 参考

作者:京东科技 宁利广
来源:京东云开发者社区 转载请注明来源

点赞
收藏
评论区
推荐文章
Peter20 Peter20
3年前
mysql中like用法
like的通配符有两种%(百分号):代表零个、一个或者多个字符。\(下划线):代表一个数字或者字符。1\.name以"李"开头wherenamelike'李%'2\.name中包含"云",“云”可以在任何位置wherenamelike'%云%'3\.第二个和第三个字符是0的值wheresalarylike'\00%'4\
Stella981 Stella981
2年前
Docker 系列:打包新镜像到阿里云镜像仓库
一、.JibJava应用构建容器镜像1.Jib介绍Jib是Google开发的可以直接构建Java应用的Docker和OCI镜像的类库,以 Maven 和 Gradle 插件形式提供。通过Jib,Java开发者可以使用他们熟悉的Java工具来构建容器。Jib是一个快速而简单的容器镜像构建工具,它负责处理
Stella981 Stella981
2年前
Gradle的Android插件
Android构建系统由一个_Gradle_的Android插件组成。 Gradle(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.gradle.org%2F)是一个高级的构建工具集,它可以管理依赖,并使你能够定义定制化的构建逻辑。AndroidStudio使用了一个Gradl
Stella981 Stella981
2年前
CentOS 7 安装 Gradle
       Java生态体系中有三大构建工具:Ant、Maven和Gradle。其中,Ant是由Apache软件基金会维护;Maven这个单词来自于意第绪语(犹太语),意为知识的积累,最初在JakataTurbine项目中用来简化构建过程;Gradle是一个基于ApacheAnt和ApacheMaven概念的项目自动化构建开源工具,它使用一种基于G
Stella981 Stella981
2年前
Maven总结
何为maven?1.Maven主要是基于Java平台的项目构建,依赖管理和项目信息2.Maven是优秀的构建工具,跨平台,消除构建的重复,抽象了一个完整的构建生命周期模型,标准化构建过程3.管理分布的项目信息,版本控制系统,轻松获取项目文档,测试报告,静态分析报告,版本日志报告等4.极限编程(XP)
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 专家系统随笔
简介专家系统(MindstudioAdvisor)是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&
京东云开发者 京东云开发者
2个月前
打开java语言世界通往字节码世界的大门——ASM字节码操作类库
一、ASM介绍1、ASM是什么ASM是一个通用的Java字节码操作和分析框架。它可以用于修改现有类或直接以二进制形式动态生成类。ASM提供了一些常见的字节码转换和分析算法,可以从中构建定制的复杂转换和代码分析工具。ASM提供了与其他Java字节码框架类似的
邢德全 邢德全
2个月前
Flink 从0到1实战实时风控系统|同步追更
Flink从0到1实战实时风控系统|同步追更download》chaoxingit.com/2323/构建实时风控系统是保障企业安全的重要组成部分,而使用ApacheFlink来构建实时风控系统则能够提供高性能、低延迟和可伸缩性。以下是从零开始构建实时风控
邢德全 邢德全
2个月前
Flink 从0到1实战实时风控系统|同步追更
Flink从0到1实战实时风控系统|同步追更download》chaoxingit.com/2323/构建实时风控系统是保障企业安全的重要组成部分,而使用ApacheFlink来构建实时风控系统则能够提供高性能、低延迟和可伸缩性。以下是从零开始构建实时风控