2024 年，3 项技术将为生成式人工智能提供帮助

随着 ChatGPT 惊艳的首年即将落幕，生成式人工智能（genAI）与大型语言模型（LLM）无疑已成为引人瞩目的技术焦点。然而，在企业的黄金时期，它们是否已具备投入使用的能力呢？ChatGPT 所遭遇的挑战众所周知，其在回答问题时的准确性尚待提高。尽管 ChatGPT 基于如 GPT-4 般复杂的人类知识计算机模型，但它却鲜少坦诚自己的不足，此现象被誉为人工智能幻觉。此外，在逻辑推理方面，ChatGPT 也常常显得力不从心。当然，这源于 ChatGPT 并不具备推理能力——它仅如同一款高级文本自动补全工具。

用户或许难以接受这一事实。然而，GPT-4 这一智能系统令人印象深刻：它能够参与模拟律师资格考试，并以排名前 10% 的成绩脱颖而出。利用这样一个强大的工具来探寻企业知识库，无疑充满着诱惑。然而，我们既需避免它过于自信，也需防止它过于愚蠢。 为了解决这些问题，三种有力的新方法应运而生，它们为提升可靠性提供了可能。虽然这些方法的关注点或许各有侧重，但它们皆围绕一个基本理念：将 LLM 视为一个 "封闭的盒子"。换言之，关键不在于精益求精地完善 LLM 本身（尽管人工智能工程师仍在不断优化其模型），而在于构建一个事实核查层以支撑 LLM。这一层旨在过滤掉错误答案，并为系统注入 "常识"。 让我们逐一探寻它们是如何实现这一目标的。

矢量搜索技术的能力

矢量搜索技术的广泛应用，已成为众多数据库的鲜明特色，其中包括部分专为矢量而生的数据库。矢量数据库的诞生，旨在为文本、图像等非结构化数据打造高效索引，将其在高维空间中进行精确搜索、深度检索和高效接近。比如，在搜索“苹果”一词时，或许能找到关于水果的资讯，而在“矢量空间”的周边，却可能涌现出科技企业或音乐公司的相关信息。

矢量，已然成为人工智能领域的实用黏合剂。我们得以利用它们，将数据库与LLM等组件中的数据点紧密关联，而不仅仅是将它们视为训练机器学习模型的数据库关键字。在这个探索与发现的旅程中，矢量搜索能力拓宽了我们的视野，让数据间的联系更加丰富多彩，为人工智能的发展注入无限生机。

检索增强生成

检索增强生成（Retrieval-augmented generation，简称 RAG）作为一种精湛方法，在与大型语言模型（LLM）的交互中融入上下文，日益受到业界瞩目。本质上，RAG 通过对数据库系统进行深度检索，使得本地语言机制的回应紧贴上下文，从而让回应更加贴切。上下文数据可以包括诸如时间戳、地理位置、参考资料和产品 ID 等元数据，理论上甚至可以实现任意复杂的数据库查询结果。

这一系列背景信息有助于整个系统输出更为精确且相关的回应。RAG 之精髓在于从数据库中获取特定主题的最精确、最新信息，进而优化模型回应。相较于 GPT-4 神秘的内部运作，若 RAG 成为业务 LLM 的基石，业务用户将可更为透明地了解系统是如何推导出所提供的答案。 倘若底层数据库具备矢量功能，LLM 的回应（包括嵌入式矢量）便可应用于数据库中相关数据的检索，从而提升回应的准确性。

知识图谱的力量

然而，即便在最先进的矢量和 RAG 增强搜索功能的助力下，ChatGPT 在关键任务领域的可靠性仍待提升。矢量作为一种数据编目方式，并非最丰富的数据模型，而知识图谱却以其独特魅力，成为 RAG 首选数据库。

知识图谱，一个由相互关联的信息编织而成的语义丰富网络，将多元维度融汇于单一数据结构，如同网络为人类所做的那样，展现出强大的整合能力。得益于知识图谱透明、编辑过的内容，其质量得以保障，成为信息时代的坚实基石。

我们还可借助向量将 LLM 与知识图谱紧密相连。当向量解析为知识图谱中的一个节点时，图谱的拓扑结构便能发挥作用，进行事实核查、近似搜索和一般模式匹配，确保传递给用户的信息准确无误。

知识图谱的应用远不止此。华盛顿大学的人工智能研究员 Yejin Choi 教授正积极探索一新概念，备受比尔·盖茨赞誉。崔教授及其团队构建了一个由机器编写的知识库，通过提问与一致通过的答案筛选，助 LLM 优选知识。

Choi 教授的研究采用了一种名为“批判者”的人工智能，它擅长探测 LLM 的逻辑推理，构建一个仅包含优质推理和事实的知识图谱。假如你问 ChatGPT（3.5），在太阳下晒干五件衬衫需要多长时间，这是一个明显的推理不足例子。常识告诉我们，无论衣物数量，晾干时间都应为一小时，但人工智能却试图用复杂数学解决，甚至展示其错误的工作原理以证明方法正确！

尽管人工智能工程师们不断努力改进（ChatGPT 4 也不例外），Choi 教授的方法仍为通用解决方案提供了可能。尤其值得一提的是，该知识图谱进一步助力 LLM 训练，尽管体积较小，但准确率却大幅提升。

重构语境

我们见证了知识图谱凭借 RAG 赋予的更为丰富的上下文与结构，进而强化了 GPT 系统的卓越性能。此外，证据表明，企业通过结合基于向量和图的语义搜索（知识图谱的近义词）的应用，能够持续获得高精度成果。

借助向量、RAG 和知识图谱的支持，大型语言模型的架构得以焕发活力，为企业带来丰厚价值，而无需专业知识去构建、训练和微调 LLM。这是一套综合策略，使我们得以借助计算机（LLM）更为基础的“理解”，深化对概念丰富、上下文的把握。显然，企业因此受益匪浅。图表的魅力在于解答了核心问题：数据中的关键要素是什么？哪些是非同寻常的？更重要的是，根据数据模式，图表能够预测未来走向。

这一事实能力与 LLMs 的生成元素相辅相成，令人信服地展现广泛适用性。展望迈向 2024 年的征程，我预言这种将 LLM 转变为关键业务工具的强力策略必将得到广泛认可。