计算机行业研究：如何实现AGI：大模型现状及发展路径展望.pdf

敬请参阅最后一页特别声明1投资逻辑：目前大模型能力仍处于EmergingAGI水平，就模型成熟度而言，语言大模型>多模态大模型>具身智能大模型。根据DeepMind的定义，AGI应能够广泛学习、执行复杂多步骤的任务。模型的AGI水平可分为Level-0至Level-5共6个等级，现阶段大模型在处理任务的广泛性上还有很大提升空间，即使是国际顶尖的大模型也仍处于Level-1EmergingAGI阶段。不同类型大模型成熟度差异较大，目前大语言模型能力相对完善，落地应用场景丰富，底层技术路线较为成熟；多模态大模型已经能够面向B\C端推出商业化产品，但细节优化空间较大；具身智能类大模型还在探索阶段，技术路线尚不清晰。现阶段讨论AGI能力提升仍需聚焦于多模态大模型的训练和应用。目前学界和业界重点关注ScalingLaw的有效性，以及模型算法的可能改进方向。ScalingLaw仍有深入空间。根据OpenAI研究，随模型参数量、数据集规模、训练使用的计算量增加，模型性能能够稳步提高，即ScalingLaw。从训练样本效率、训练时长、各类资源对模型的贡献维度来看，目前ScalingLaw仍是提高模型性能的最优方法。OpenAI测算在模型参数量扩展到88万亿及之前，ScalingLaw依旧有效，则中短期仍可延续此路线进行训练。模型骨干网络架构尚未演变至终局，微调及稀疏结构成为提升模型性能的重要方法。目前主流大模型均采用Transformer作为底层骨干网络，但针对编码器\解码器选择、多模态融合、自注意力机制等方面的探索仍在持续推进。微调使用更小的数据量、更短的训练时间，让模型能够适应下游任务，以降低边际落地成本。以MoE为代表的稀疏结构通过分割输入任务并匹配专家模型，能够提高模型的整体性能。开源模型性能优化速度快于闭源模型。我们认为，目前第一梯队AI大模型纷纷进军万亿参数，且不远的将来大模型将逐步逼近十万亿参数收敛值，对于本轮AI浪潮而言，找场景或优于做模型。在场景选择方面，对“幻觉”容忍度高且能够替代人工的场景可实现应用率先落地，如聊天机器人、文本/图像/视频创作等领域；而对“幻觉”容忍度较低的行业需要等待大模型能力提升或使用更多场景数据训练。投资建议算法、数据、算力是影响模型性能的关键因素，相关企业能够直接受益于大模型训练的持续推进，推荐国内AI算法龙头科大讯飞等，建议关注数据工程供应商以及算力产业链相关公司。对于行业类公司而言，寻找通过AI赋能带来效率提升的场景更为重要，建议关注AI+办公领域的金山办公、万兴科技，AI+安防领域的海康威视，AI+金融领域的同花顺等公司。风险提示底层大模型迭代发展不及预期；国际关系风险；应用落地不及预期；行业竞争加剧风险。行业深度研究敬请参阅最后一页特别声明2扫码获取更多服务内容目录1.距离AGI还有多远：语言大模型较为成熟，处于EmergingAGI水平.....42.如何实现AGI：ScalingLaw仍有深入空间，底层算法框架有待升级72.1ScalingLaw：中短期内，持续扩大参数量仍能改善模型表现...92.2算法改进：骨干网络架构仍有创新空间，微调及稀疏结构能够提升性价比....103.如何商业落地：借力模型开源及B端合作，寻找高人工替代率的场景..173.1开源模型vs闭源模型？——ScalingLaw不再work之后，找场景或优于做模型.173.2如何定义一个好场景？——“幻觉”尚未消除的世界，高人工替代率或为重点..183.3如何处理“幻觉”？——ScalingLaw信仰派vs引入知识图谱改良派..194.投资建议...205.风险提示...23图表目录图表1：AGI可以根据性能和广泛性划分为6个等级.4图表2：大模型可根据功能进行分类...4图表3：海内外语言及多模态大模型进展概览.5图表4：海内视觉及其他大模型进展概览.....5图表5：机器人涉及到的模型种类较多.6图表6：将Transformer架构应用于机器人决策、控制等成为现阶段重要趋势...6图表7：各类大模型能力现状...7图表8：以OpenAI布局为例，看AGI发展路径.....8图表9：大模型训练主要环节...8图表10：多重因素决定模型性能9图表11：模型性能随着模型大小、数据集大小和训练所用计算量的增加呈现幂律提升..9图表12：参数规模更大的语言模型在训练过程中的样本效率更高且性能提升更快.....10图表13：模型参数规模对于性能提升的贡献度更高.10图表14：Transformer模型结构及自注意力机制原理11图表15：根据底层骨干网络差异可以将大模型分为三类...12图表16：三种骨干网络特点对比.....12图表17：智谱GLM-4在多项任务中能力比肩GPT-4.....13图表18：Meta-Transformer模型能够处理12种非成对的模态数据.....13图表19：扩散模型示意图.....14行业深度研究敬请参阅最后一页特别声明3扫码获取更多服务图表20：DiffusionTransformer模型结构...14图表21：针对Transformer的创新研究持续推进...14图表22：InstructGPT中的RLHF技术.....15图表23：Llama-2对RHLF的奖励模型进行改进...15图表24：针对Transformer架构大模型的PEFT微调方法.16图表25：MoE结构中只激活部分网络16图表26：2023年生成式AI融资额度与融资笔数快速提升.17图表27：开源模型性能改善速度快于闭源模型.....18图表28：AGI演进过程中的应用场景分类...19图表29：连接主义VS符号主义.....20图表30：知识图谱通过机器学习和自然语言处理来构建节点、边和标签的全面视图...20图表31：大模型向AGI演进，模型训练产业链有望持续收益....21图表32：算力产业图谱.22图表33：建议关注AI赋能细分场景的龙头企业....22行业深度研究敬请参阅最后一页特别声明4扫码获取更多服务2022年11月ChatGPT推出后，自然语言处理领域取得重大突破，正式进入大模型时代，2023年被称为“大模型元年”；2023年3月,具备多模态能力的GPT-4惊艳发布，海内外科技巨头、研究机构等纷纷跟进；至2024年2月Sora面世，大模型在视频生成领域实现代际跃迁，虚拟现实成为可能。在此背景下，学界和业界对于大模型终局，即是否能够实现AGI（ArtificialgeneralIntelligence，通用人工智能）的讨论热度日益提升。本文主要盘点目前各类主流大模型性能情况，试图讨论大模型性能提升并最终实现AGI的可能路径，并分析在实现AGI过程中的相关产业链投资机会。1.距离AGI还有多远：语言大模型较为成熟，处于EmergingAGI水平根据DeedMind的创始人兼首席AGI科学家ShaneLegg的定义，AGI能够执行一般人类可完成的认知任务、甚至超越这个范围。具体而言，AGI应能够学习广泛任务，能够执行复杂、多步骤的任务。DeepMind根据AI模型性能和学习处理任务的广泛性对AGI水平进行分类，从Level-0无人工智能，到Level-5超越人类