下载地址1：https://pan.baidu.com/s/15IbktHy54IdZRg3g7PWWKQ 提取码：v7lt 下载地址2：https://pan.baidu.com/s/1itYcy6EHYLRZSvj2D5e00A 提取码：9jdp

一、那为啥最近突然Agent那么火 有很多人或许会疑惑，Agent这个东西看起来跟LLM也没差得那么远，那为啥最近突然Agent那么火，而不称之为LLM-Application或者其他的词呢？这就得从agent的来历上说起了。

从哲学意义上讲，“Agent”是指具有意图和行动能力的实体（包括物理世界和虚拟世界中的其他实体）；而“Agency”一词则表示这种能力的行使或体现。

在 20 世纪 80 年代中后期之后，当“Agent”这一概念被引入人工智能领域时，其含义发生了一些变化。在哲学领域，Agent可以是人、动物，甚至是具有自主性的概念或实；然而，在人工智能领域，Agent是一个计算实体（这种计算实体的表现形式有很多种，例如接入真实世界的机器人，对话接口，沙盒环境里的游戏NPC等），它们能够使用传感器感知周围环境，自主做出决策，然后使用执行器采取行动。

二、AI Agent的技术演变史 1、Symbolic Agents: 在人工智能研究的早期阶段，最主要的方法是符号人工智能，其特点是依赖符号逻辑。这种方法采用逻辑规则和符号表示来封装知识和促进推理过程。它们主要关注两个问题：转换问题和表示/推理问题。这些Agent旨在模拟人类的思维模式。它们拥有明确的、可解释的推理框架，而且由于其符号性质，它们表现出高度的表达能力（这种方法的一个典型例子是基于知识的专家系统）。然而，Symbolic Agent在处理不确定性和大规模现实世界问题时面临着局限性。此外，由于符号推理算法错综复杂，要找到一种能在有限时间内产生有意义结果的高效算法也很有挑战性。

2、Reactive Agents: 与Symbolic Agent不同，Reactive Agent不使用复杂的符号推理。相反，它们主要关注Agent与其Environment之间的交互，强调快速和实时响应。这类Agent的设计优先考虑直接将输入输出进行映射，而不是复杂的推理和符号操作。Reactive Agent通常需要较少的计算资源，从而能做出更快的反应，但可能缺乏复杂的高层决策和规划能力。

3、RL-based Agents: 该领域的主要关注点是如何让Agent通过与环境的交互进行学习，使其在特定任务中获得最大的累积奖励。最初，RL-based Agent主要基于强化学习算法，如策略搜索和价值函数优化，Q-learning和SARSA就是一个例子。随着深度学习的兴起，出现了深度神经网络与强化学习的整合，即深度强化学习。这使得Agent可以从高维输入中学习复杂的策略，从而取得了众多重大成就（如AlphaGo和DQN）。这种方法的优势在于它能让Agent在未知环境中自主学习，而在学习过程中无需明确的人工干预。这使得它能广泛应用于从游戏到机器人控制等一系列领域。然而，强化学习也面临着一些挑战，包括训练时间长、采样效率低以及稳定性问题，尤其是在复杂的真实世界环境中应用时。

4、Agent with transfer learning and meta learning: 传统上，训练强化学习Agent需要大量样本和较长的训练时间，而且缺乏泛化能力。因此，研究人员引入了迁移学习来加速Agent对新任务的学习。迁移学习减轻了新任务培训的负担，促进了知识在不同任务间的共享和迁移，从而提高了学习效率、绩效和泛化能力。此外，AI Agent也引入了元学习。元学习的重点是学习如何学习，使Agent能从少量样本中迅速推断出新任务的最优策略。这样的Agent在面对新任务时，可以利用已获得的一般知识和策略迅速调整其学习方法，从而减少对大量样本的依赖。然而，当源任务和目标任务之间存在显著差异时，迁移学习的效果可能达不到预期，并可能出现负迁移。此外，元学习需要大量的预训练和大量样本，因此很难建立通用的学习策略。

5、LLM-based Agent: 由于大型语言模型已经展示出令人印象深刻的新兴能力，并受到广泛欢迎，研究人员已经开始利用这些模型来构建AI Agent。具体来说，他们采用 LLM 作为这些Agent的大脑或控制器的主要组成部分，并通过多模态感知和工具利用等策略来扩展其感知和行动空间。通过思维链（CoT）和问题分解等技术，这些基于 LLM 的Agent可以表现出与Symbolic Agen相当的推理和规划能力。它们还可以通过从反馈中学习和执行新的行动，获得与环境互动的能力，类似于Reactive Agent。同样，大型语言模型在大规模语料库中进行预训练，并显示出少量泛化的能力，从而实现任务间的无缝转移，而无需更新参数。LLM-based Agent已被应用于各种现实世界场景、如软件开发和科学研究。由于具有自然语言理解和生成能力，它们可以无缝互动，从而促进多个Agent之间的协作和竞争。

三、未来是否能实现一个更加通用的Agent外部框架？ 很多人将 LLM 作为 Agent 的实现方式，这太简单粗暴了。比如，仅为Agent设定一个目标，定义一些基本的条件约束之后，就期待它能完成自我规划、分解任务、自我提示，甚至调用外部的工具，并给出答案的全部过程。然而，LLM本身并不是这样训练的，必然不具备这种能力，但这并非归因于“智商”问题。 从Agent落地的角度来说，仍需要外部的逻辑框架。 虽然目前有许多类别的Agent，但大多很粗浅，不够通用。即使是最简单的Agent应用，语音助手或智能外呼系统，其复杂性以及如何引入环境Feedback等问题，都未得到有效解决。 因此，除了对错误进行更细致的分析外，我们应该研究的一个问题是：除了LLM本身足够通用之外，是否会实现一个通用的外部逻辑框架，来解决Agent真正落地的问题？ 如果我们无法找到外部通用的逻辑框架，那么现在这场所谓的AGI革命可能只是一个泡沫，一个巨大无比的泡沫，它其实可能与上一代NLP并无本质区别。 现阶段Agent的落地，不只是“智商”问题，还需要如何借助外部工具从专用抵达通用——而这是更重要的问题。

四、AI Agent的展望与挑战 AI Agent是人工智能成为基础设施的重要推动力。回顾技术发展史，技术的尽头是成为基础设施，比如电力成为像空气一样不易被人们察觉，但是又必不可少的基础设施，还如云计算等。当然这个要经历以下三个阶段：创新与发展阶段--新技术被发明并开始应用；普及与应用阶段--随着技术成熟，它开始被广泛应用于各个领域，对社会和经济产生深远影响；基础设施阶段--当技术变得普及到几乎无处不在，它就转变成了一种基础设施，已经成为人们日常生活中不可或缺的一部分。几乎所有的人都认同，人工智能会成为未来社会的基础设施。而智能体正在促使人工智能基础设施化。这不仅得益于低成本的Agent软件生产优势，而且因为Agent能够适应不同的任务和环境，并能够学习和优化其性能，使得它可以被应用于广泛的领域，进而成为各个行业和社会活动的基础支撑。