ChatGPT+AI技术项目实战，打造多端智能虚拟数字人
分享课程——ChatGPT+AI技术项目实战，打造多端智能虚拟数字人，附源码。
ChatGPT全称为Chat Generative Pre-trained Transformer，一个基于深度学习的大型语言模型，其模型结构使用了Transformer网络 。这个网络可以从输入的文本中学习语言的规律和模式，并用这些规律和模式来预测下一个单词或字符。 在chatGPT的训练过程中，chatGPT接受了海量的文本数据，这些数据包括各种来源，例如维基百科、新闻文章、小说、网页等等。这些庞大的数据集被用来形成一个模仿人脑的深度学习神经网络，在学习过程中，chatGPT试图学习这些数据中的语言规则和模式，预测文本序列中的下一个单词或字符，以提高自己的准确性。 ChatGPT整个工作的核心是“Transformer”，这是一种用于处理自然语言数据的神经网络。神经网络通过互连节点层处理信息来模拟人脑的工作方式。将神经网络想象成一个曲棍球队：每个球员都有一个角色，但他们在具有特定角色的球员之间来回传递冰球，所有人一起努力得分。
AI的算法结构，也是经过了漫长的探索与积累之后，才有了今天Transformer的质变。
第一个阶段：模式匹配，给AI输入一些列的逻辑与规则，AI根据规则来进行判断与推理。代表性有符号逻辑，联结主义等，主要应用在包括象棋和国际象棋等游戏。 第二阶段：机器学习，让计算机不需要显式的程序也可以具备学习的能力，以处理更复杂的任务。代表性的算法包括反向传播、决策树、神经网络和规则引擎等。主要应用在语音识别、图像识别和机器翻译等领域。 第三阶段：人工神经网络，随着数据量的增加和计算能力的提升，一种基于神经网络结构的机器学习算法。这个时期的经典算法包括支持向量机、朴素贝叶斯、卷积神经网络和循环神经网络等。 第四阶段：深度学习神经网络，一种模仿人脑的复杂、多层、加权算法，它能够学习文本数据中的模式和关系，并利用创建类似人类的能力。通过预测任何给定句子中接下来应该出现的文本来做出响应。 代表算法有Transformer。
打开命令行进行交互测试,请使用以下代码进行模型测试，目前使用一些小方法可实现正常对话，这里可能要多尝试几次（已经更新了cli_demo.py和web_demo.py可运行,推荐使用A100含以上的显卡）
解压启动文件到模型存放路径并启动 cd /home/aistudio/data/data203501 unzip chatglm-6b.zip cd python /home/aistudio/work/ChatGLM-6B/cli_demo.py
分析了ChatGLM模型文件的整体结构后,我对整体的模型运行逻辑进行了一个分析，后续如果有能力调整的可参考一下 models ——config.json # 模型的基本信息，包括运行时要调用的py文件和函数，模型的结构参数都放在该json ——configuration_chatglm.py # 设置模型的基本参数的py文件 ——modeling_chatglm.py # 组网程序，也是模型主程序，后续调整环境需要对这个文件进行大幅调整 ——quanitization.py # 量化程序,主要是为了调整Tensor的精度，默认是bfloat16 ——tokenization_chatglm.py # 词嵌入程序，主要是为了将语句输入转化为词嵌入向量（token）形式，之后将其送进模型进行推理 ——tokenizer_config.json # tokenizer的基本设置文件，可查看句子是通过何种方式进行向量化的
虚拟数字人（Digital Human / Meta Human），是运用数字技术创造出来的、与人类形象接近的数字化人物形象。 虚拟数字人系统一般情况下由人物形象、语音生成、动画生成、音视频合成显示、交互等5个模块构成。 3D超写实虚拟数字人制作主要核心技术： 建模设计技术：明确形象设计方向，根据平面形象，进行3D模型搭建； 动捕驱动技术：通过捕捉技术采集真人演员的动作和面部表情数据，之后将这些数据迁移合成到虚拟数字人身上； 渲染技术：将场景、人物、角色、特效已经配音进行后期合成，最后渲染成片。
现实中的机器人技术主要的难点在于能源和控制系统这两方面，原因如下：
1.能源：机器人需要稳定的能源供应来运行和执行任务。然而，为机器人提供高效、持久的能源仍然是一个挑战。机器人通常需要小型而高能量密度的能源来源，以满足其动力需求。电池技术在这方面取得了一些进展，但仍存在容量、充电速度和寿命等方面的限制。为机器人提供长时间的能源供应，特别是在远离电源的环境中，仍然是一个重要难题。 2.控制系统：机器人的控制系统涉及对机器人的感知、决策和执行能力的整合和优化。机器人需要具备高度精确的感知能力来感知和理解周围环境，并能做出适应环境变化的决策。同时，机器人还需要高精度的运动控制能力来实现准确的操作和移动。这就涉及到传感器技术、算法、运动控制和人工智能等方面的复杂问题。确保机器人能够稳定、安全地运行并完成任务需要高度可靠的控制系统，这是目前仍然具有挑战性的领域。
现如今的分布式项目，微服务项目都是通过maven来构建的聚合工程，聚合工程利于维护，利于可扩展，提高项目的可维护性。以下为顶级pom中的相关依赖，可以结合项目进行参考：
<mysql-connector-java.version>5.1.41</mysql-connector-java.version>
<mybatis-spring-boot-starter.version>2.1.0</mybatis-spring-boot-starter.version>
<mapper-spring-boot-starter.version>2.1.5</mapper-spring-boot-starter.version>
<pagehelper-spring-boot-starter.version>1.2.12</pagehelper-spring-boot-starter.version>
<okhttp.version>4.2.2</okhttp.version>
<jackson.version>2.10.2</jackson.version>
<commons-codec.version>1.11</commons-codec.version>
<commons-lang3.version>3.4</commons-lang3.version>
<commons-fileupload.version>1.4</commons-fileupload.version>
<google-guava.version>28.2-jre</google-guava.version>
<springfox-swagger2.version>2.4.0</springfox-swagger2.version>
<swagger-bootstrap-ui.version>1.6</swagger-bootstrap-ui.version>
<fastdfs.version>1.27.2</fastdfs.version>
<slf4j.version>1.7.21</slf4j.version>
<joda-time.version>2.10.6</joda-time.version> <!-- 引入 mongodb 依赖 -->
<dependency>
<groupId>org.mongodb</groupId>
<artifactId>mongodb-driver</artifactId>
<!--mongodb-driver.version-->
<version>3.11.1</version>
</dependency>
<!-- mysql 驱动 -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>${mysql-connector-java.version}</version>
</dependency>
<!-- mybatis -->
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>${mybatis-spring-boot-starter.version}</version>
</dependency>
<!-- 通用mapper逆向工具 -->
<dependency>
<groupId>tk.mybatis</groupId>
<artifactId>mapper-spring-boot-starter</artifactId>
<version>${mapper-spring-boot-starter.version}</version>
</dependency>
<!--pagehelper -->
<dependency>
<groupId>com.github.pagehelper</groupId>
<artifactId>pagehelper-spring-boot-starter</artifactId>
<version>${pagehelper-spring-boot-starter.version}</version>
</dependency>
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>${okhttp.version}</version>
</dependency>
<!-- jackson -->
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-core</artifactId>
<version>${jackson.version}</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-annotations</artifactId>
<version>${jackson.version}</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>${jackson.version}</version>
</dependency>
<!-- apache 工具类 -->
<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>${commons-codec.version}</version>
</dependency>
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>${commons-lang3.version}</version>
</dependency>
<dependency>
<groupId>commons-fileupload</groupId>
<artifactId>commons-fileupload</artifactId>
<version>${commons-fileupload.version}</version>
</dependency>
<!-- google 工具类 -->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>${google-guava.version}</version>
</dependency>
<!-- swagger2 配置 -->
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger2</artifactId>
<version>${springfox-swagger2.version}</version>
</dependency>
<dependency>
<groupId>io.springfox</groupId>
<artifactId>springfox-swagger-ui</artifactId>
<version>${springfox-swagger2.version}</version>
</dependency>
<dependency>
<groupId>com.github.xiaoymin</groupId>
<artifactId>swagger-bootstrap-ui</artifactId>
<version>${swagger-bootstrap-ui.version}</version>
</dependency>
<dependency>
<groupId>com.github.tobato</groupId>
<artifactId>fastdfs-client</artifactId>
<version>${fastdfs.version}</version>
</dependency>
<!-- joda-time 时间工具 -->
<dependency>
<groupId>joda-time</groupId>
<artifactId>joda-time</artifactId>
<version>${joda-time.version}</version>
</dependency>
</dependencies>
