深度学习与大模型Transformer

helloworld_38131402
• 阅读 128
国家“十四五”规划中,“智能”“智慧”相关表述高达57处,这表明在当前我国经济从高速增长向高质量发展的重要阶段,以人工智能为代表的新一代信息技术,将成为我国“十四五”期间推动经济高质量发展、建设创新型国家的重要技术保障和核心驱动力之一。当前,ChatGPT的火热发展,其基础技术就是来源于深度学习。ChatGPT是一种基于深度学习的人工智能模型,其核心技术是神经网络。ChatGPT使用多层神经网络来学习和预测自然语言序列的概率分布,以实现对话生成和自然语言处理等任务。深度学习是一种多层神经网络的机器学习方法,可以通过大量数据的训练来学习复杂的特征和模式,并实现高效的分类和预测。

为积极响应科研及工程人员的需求,根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化,建立职业分类动态调整机制,加快职业标准开发工作”要求,中国管理科学研究院现代教育研究所(http://www.zgyxdjy.com)联合北京龙腾亚太教育咨询有限公司特举办“深度学习核心技术实践与图神经网络新技术应用研修班”。本次培训采用全实战培训模式。 本次培训由北京龙腾亚太教育咨询有限公司承办并进行相关费用收取及发票开具。具体通知如下: 一、培训专家: 来自中国科学院自动化技术研究所、北京理工大学等科研机构和大学的高级专家,拥有丰富的科研及工程技术经验,长期从事人工智能、机器学习、深度学习、大数据分析等领域的教学与研究工作。 二、时间地点: 2023年7月27日 — 2023年7月31日 上海(同时转线上直播) (27日报到发放上课材料,28日-31日上课) 三、培训特色: 1、采用深入浅出的方法,结合实例并配以大量代码练习,重点讲解深度学习框架模型、科学算法、训练过程技巧。 2、能够把握深度学习的技术发展趋势,可以熟练掌握深度学习核心技术、实践技巧,同时针对工作中存在的疑难问题进行分析讲解和专题讨论,有效的提升学员解决复杂问题的能力; 3、掌握深度学习大模型Transformer训练网络搭建与配置、掌握数据价值的深度挖掘。 4、掌握图神经网络模型及框架PyTorch 5、实践手写字体识别、叶片分类等案例,动手练习让AI自己玩游戏。 6、根据自己的科研项目及课题研究,灵活掌握应用深度学习五大框架模型。 注:其它开源的公开数据集:ImageNet、MS-COCO、UCF101、HMDB51、PASCAL VOC、Open Images等。 四、参会对象: 各省市、自治区从事人工智能、深度学习、计算机视觉、人脸识别、图像处理、行人检测、自然语言处理等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关人员,以及深度学习、计算机视觉广大爱好者。 五、费用标准: A类:5680元/人(含报名费、培训费、资料费、A类证书费),住宿可统一安排,费用自理。 1、培训费由组织培训班的施教机构负责收取并提供培训发票。 2、上课前一周汇款可享受9折优惠,或报名5人以上可享受9折优惠,两个优惠不同时享用。报名8人以上享受8.8折优惠。 3、参加线上、线下培训学员均可享受视频录播回放权益,及本人再次免费参加线下同主题课程学习权益。 六、颁发证书: A、参加相关培训并通过考核的学员,由中国管理科学研究院现代教育研究所颁发《深度学习开发与应用工程师》(高级)专业能力认证证书,可通过官方网站查询,该证书可作为有关单位任职、职称评定、专业技术人员能力评价、考核的重要依据。 注:请学员提交电子版彩照(大于20KB,红蓝底皆可)、身份证复印件和学历证明复印件至报名邮箱。 七、注意事项 1、指定报名邮箱:2044115758@qq.com。 2、报名成功后,会务组在报到前一周发具体报到通知及行车路线。 3、学员需自备电脑一台,配置win10、64位系统、8G及以上内存,硬盘空间预留100G。 附件:具体课程安排 关键点 1.人工智能、深度学习的发展历程 2.深度学习大模型Transformer 3.神经网络训练方法 4.卷积神经网络,卷积核、池化、通道、激活函数 5.循环神经网络,长短时记忆LSTM、门控循环单元GRU 6.参数初始化方法、损失函数Loss、过拟合 7.对抗生成网络GAN 8.迁移学习TL 9.强化学习RF 10.图神经网络GNN 一、算法和场景融合理解 1.空间相关性的非结构化数据,CNN算法。典型的图像数据,像素点之间具有空间相关性,例如图像的分类、分割、检测都是CNN算法。 2.时间相关性的非结构化数据,RNN算法。这类场景普遍的一个现象就是数据之间具有时序相关性,也就是数据之间存在先后依赖关系。例如自然语言处理、语音相关算法都是基于RNN算法。 3.非欧氏数据结构, GNN。这类场景典型的可以用图来表示。例如社交网络等。 案例摘要讲解 医疗领域:如流行疾病、肿瘤等相关疾病检测 遥感领域:如遥感影像中的场景识别 石油勘探:如石油油粒大小检测 轨道交通:如地铁密集人流检测 检测领域:如故障检测 公安领域:如犯罪行为分析 国防领域:目标检测、信号分析、态势感知… 经济领域:如股票预测 二、数据理解及处理 分析典型场景中的典型数据,结合具体的算法,对数据进行处理 1.结构化数据,如何对数据进行读取,进行组织。 2.图像数据,在实际应用过程中的处理方法,怎样做数据的预处理、进行数据增强等。 3.时序信号,将单点的数据如何组合成一个序列,以及对序列数据处理的基本方法。 三、技术路径设计 针对具体的场景设计特定的神经网络模型,对典型数据适配的网络结构进介绍。 1.DNN模型搭建的基本原则 2.CNN模型中常见的网络结构,以及参数分析。 3.RNN中支持的一些基本算子,如何对序列数据进行组织。 四、模型验证及问题排查 简单的算法或者模型对典型的场景进行快速验证,并且针对一些频发的问题进行讲解。 1.模型收敛状态不佳 2.分类任务重最后一层激活函数对模型的影响 五、高级-模型优化的原理 不同的模型需要采用的优化函数以及反向传播中参数的优化方法 1.模型优化的算法介绍,基于随机梯度下降的算法介绍。 2.不同场景适应的损失函数介绍。 3.针对典型场景的反向传播梯度的推到过程。 六、高级-定制化思路 结合往期学员的一些项目,简单介绍一下解决一个具体问题的思路。 遥感成像中,地块农作物种类的识别。

实操解析与训练 第一阶段: 神经网络实践 实验:神经网络 1.神经网络中基本概念理解:epoch、batch size、学习率、正则、噪声、激活函数等。 2.不同的数据生成模型、调整网络参数、调整网络规模 3.神经网络分类问题 4.不同数据特征的作用分析、隐含层神经元数目 5.过拟合 高频问题: 1.输入数据与数据特征 2.模型设计的过程中的参数与功能的关系。 关键点: 1.掌握神经网络的基本概念 2.学会搭建简单的神经网络结构 3.理解神经网络参数 实操解析与训练 第二阶段: 深度学习三种编程思想 实验:Keras实践 1.理解Keras基本原理 2.学会Keras编程思想 3.三种不同的深度神经网络构建编程方式 4.给定数据集,采用Keras独立完成实际的工程项目 高频问题: 1.如何编程实现深度神经网络 2.三种开发方式的具体使用 关键点: 1.掌握Keras编程思想 2.采用三种不同方式编写深度神经网络 实操解析与训练 第三阶段:CNN实践 实验:图像分类 1.使用CNN解决图像分类问题 2.搭建AlexNet 3.VGG16/19 4.GoogleNet 5.ResNet 高频问题: 1.CNN更复杂的模型在哪里可以找到代码 关键点: 1.使用卷积神经网络做图像分类 2.常见开源代码以及适用的问题 实验:视频人物行为识别 1.基于C3D的视频行为识别方法 2.基于LSTM的视频行为识别方法 3.基于Attention的视频行为识别方法 高频问题: 1.2D卷积与3D卷积 2.视频的时空特征 关键点: 1.C3D网络的构建 2.Attention机制 实操解析与训练 第四阶段: R-CNN及YOLO实践 实验:目标检测 1.目标检测发展现状及代表性方法 2.两阶段目标检测方法:R-CNN系列模型 3.一阶段目标检测方法:YOLO系列模型 高频问题: 1.提名与分类 2.BBOX实现策略 3.YOLO Loss函数 关键点: 1.提名方法 2.ROI Pooling 3.SPP Net 4.RPN 5.YOLO 实操解析与训练 第五阶段: RNN实践 实验:股票预测 1.股票数据分析 2.同步预测 3.异步预测 高频问题: 1.历史数据的使用 关键点: 1.构建RNN 2.采用Keras编程实现 实操解析与训练 第六阶段: Encoder-Decoder实践 实验:去噪分析 1.自编码器 2.去噪自编码器 高频问题: 1.噪声的引入与去除 关键点: 1.设计去噪自编码器 实验:图像标题生成 结合计算机视觉和机器翻译的最新进展,利用深度神经网络生成真实的图像标题。 1.掌握Encoder-Decoder结构 2.学会Seq2seq结构 3.图像CNN +文本RNN 4.图像标题生成模型 高频问题: 1.如何能够根据图像生成文本? 关键点: 1.提取图像特征CNN,生成文本RNN 2.构建Encoder-Decoder结构 实操解析与训练 第七阶段: GAN实践 实验:艺术家作品生成

  1. 生成对抗网络原理 2.GAN的生成模型、判别模型的设计 高频问题:
  2. 生成模型与判别模型的博弈过程 关键点:
  3. 掌握GAN的思想与原理 2.根据需求学会设计生成模型与判别模型 实操解析与训练 第八阶段: 强化学习实践 实验:游戏分析
  4. 游戏场景分析 2.强化学习的要素分析 3.深度强化学习 高频问题:
  5. DNN 与DQN 2.探索与利用 关键点:
  6. 深度强化学习的原理 2.根据实际需求,设计深度强化学习模型 实操解析与训练 第九阶段: 图卷积神经网络实践 实验:社交网络分析
  7. 图神经网络的原理 2.图卷积神经网络的思想
  8. 设计图卷积神经网络进行社交网络分析 高频问题:
  9. 如何从图神经网络的原理转化到实际编程 关键点:
  10. 掌握图神经网络原理 2. 图卷积神经网络编程实现 实操解析与训练 第十阶段: Transformer实践 实验:基于Transformer的对话生成
  11. Transformer原理 2. 基于Transformer的对话生成
  12. 基于 Transformer 的应用 高频问题:
  13. 如何应用自注意力机制 2.如何应用于自然语言处理与计算机视觉 关键点:
  14. self-Attention机制 2.position

更多内容请关注微信公众号:人工智能技术与咨询或登录中国人工智能培训网

点赞
收藏
评论区
推荐文章
工业互联网,走,上云去!
2022年3月5日,第十三届全国人民代表大会发布政府工作报告指出,加快发展工业互联网,培育壮大集成电路、人工智能等数字产业,提升关键软硬件技术创新和供给能力。工业互联网是新一代信息技术与制造业深度融合的产物,可为企业提供低成本的信息化、数据化、网络化手段和工具,是加快制造业数字化转型的重要引擎。制造业是我国国民经济的支柱行业,驱动制造业从“制造”向“智造”转
告别缺电焦虑!充电桩装上“智慧大脑”
近年来,伴随着新基建利好的推动,我国已成为全球新能源汽车产销重要市场,新能源汽车保有量不断增长,与此同时充电桩设施建设需求量也同步攀升。乘着新基建的东风,2021年,新能源汽车充电桩将继续享受政策红利。根据车研咨询最新发布的《十四五20212025年中国新能源汽车充电基础设施市场发展与投资前景预测报告》显示,国家将继续加大充换电基础设施建设,鼓励各类充换电设
@千行百业,一起乘云而上!
当前,数字经济已成为现代化经济体系建设的重要支撑,对于社会全面发展、综合国力提升意义深远,我国高度重视数字经济发展,不断加快推进数字中国建设。以云计算为代表的数字技术可加速重构经济发展模式,提高产业数字化、智能化水平,是数字经济发展的重要引擎。天翼云作为云服务国家队,凭借领先的技术、广泛的资源布局与丰富的场景实践经验,积极引领企业数字化转型,夯实数字经济发展
深度学习核心技术实践与图神经网络新技术应用
各企事业单位:国家“十四五”规划中,“智能”“智慧”相关表述高达57处,这表明在当前我国经济从高速增长向高质量发展的重要阶段,以人工智能为代表的新一代信息技术,将成为我国“十四五”期间推动经济高质量发展、建设创新型国家的重要技术保障和核心驱动力之一。当前,人工智能的发展,在很大程度上归功于深度学习技术的发展。人们逐渐认识到,当你有了深度学习算法、模型,并构
数字先锋 | 打造城市“一朵云”,天翼云推动芜湖新型智慧城市建设
拥有“国家创新城市”、“G60科创走廊中心城市”等众多头衔的芜湖市,一直走在我国智慧城市建设前列。近年来,芜湖市按照国家“数字中国”发展新战略和省“数字政府”、“数字江淮”发展规划要求,不断推进“数字芜湖”建设,构建数据引领型发展模式,促进社会治理体系
天翼云打造自研云操作系统TeleCloudOS4.0 推动算力蓬勃发展
当前,科技创新能力已经成为综合国力竞争的决定性因素。我国《“十四五”数字经济发展规划》就明确指出,要坚持把创新作为引领发展的第一动力,突出科技自立自强的战略支撑作用,促进数字技术向经济社会和产业发展各领域广泛深入渗透。在创新过程中,要不断加强关键核心技
倒计时2天!天翼云邀您共赴2022天翼数字科技生态大会
当前,中国数字经济发展飞速,正以前所未有的速度、范围和影响,推动着生产方式、生活方式、治理方式发生深刻变革。随着数字产业不断蓬勃发展,云计算作为推动数字经济与实体经济深度融合的催化剂,已经成为新型基础设施建设的关键支撑技术,持续夯实数字经济的发展底座,为传
数字先锋|云上医院长什么样?宁夏固原中医医院带你一探究竟!
卫健行业是关乎国家和民生安全的关键行业。近年来,云计算、大数据、人工智能等技术不断发展,并与医疗行业深入融合。同时,相关部门相继颁发一系列政策,进一步推动医疗行业数字化、智慧化转型,促进探索健康中国高质量发展道路。
用户首选!满意度第一!
12月8日,由北京赛昇科技有限公司主办,计世资讯研究院(CCWResearch)、软件融合应用与测试验证工信部重点实验室、中国电力发展促进会、央企投资研究院支持的2023第22届中国IT用户满意度大会暨新一代信息技术助力新型工业化高质量发展论坛在北京成功举办。大会以“技术驱动智造未来”为主题,来自国家级智库、IT厂商、行业协会、用户企业、投融资机构、科研院所的重要嘉宾齐聚,共同探讨新一代信息技术助力新型工业化高质量发展之路。
数字先锋 | 望闻问切更有“数”!
中医凝聚着中华民族几千年的健康养生理念和实践经验,是中华民族的瑰宝,随着新一代信息技术发展应用,数字化、智能化成为中医高质量发展新方向。《“十四五”中医药发展规划》提出,加强中医医院智慧化建设,推动中医药健康服务与互联网深度融合,为中医院可持续发展阐明了道路。在此背景下,重庆市江北区中医院(以下简称“江北区中医院”)紧紧把握发展新机遇,携手天翼云构建起了高效统一、安全可靠的医疗信息化系统,让中医诊疗及健康管理搭上数字化发展的“快车”。