引言
Vertex AI Agent Builder 于今年 4 月推出,旨在为开发人员提供构建企业级生成式 AI 体验、应用程序和代理所需的所有界面和工具。其中,检索增强生成 (RAG) 组件和使用 Google 搜索对 Gemini 输出进行 grounding 的功能尤为强大。近日,Google Cloud 宣布,将扩展这些 grounding 功能,赋能开发者构建功能更强大的 AI 代理和应用程序。
Grounding 功能扩展

使用 Google 搜索进行 Grounding 现已全面推出,并将很快提供动态检索功能。该功能可以智能地选择何时使用 Google 搜索结果以及何时使用模型的训练数据,从而帮助用户在结果质量与成本效益之间取得平衡。

使用高保真模式进行 Grounding 已发布实验性预览版,作为 grounding 生成 API 的一项新功能,旨在进一步减少“幻觉”（ 指大型语言模型生成不准确或误导性信息的倾向）。

使用第三方数据集进行 Grounding 将于今年第三季度推出。Google Cloud 正在与 Moody’s、MSCI、Thomson Reuters 和 Zoominfo 等专业提供商合作,实现对其数据集的访问,帮助开发者构建能够提供更准确、更有用响应的 AI 代理和应用程序。

向量搜索（支持基于嵌入的 RAG 的引擎）也将扩展,以提供混合搜索功能,现已公开预览。

利用 Google 搜索,将模型 grounding 于世界知识
当用户为 Gemini 模型选择“使用 Google 搜索进行 Grounding”功能时,Gemini 将使用 Google 搜索,并生成以相关搜索结果为依据的输出。该功能简单易用,并使 Gemini 可以使用全世界的知识。
这些功能有效解决了限制企业采用生成式 AI 的一些障碍：模型不知道其训练数据之外的信息,以及基础模型倾向于出现“幻觉”,或生成令人信服但实际上不准确的信息。检索增强生成 (RAG) 是一种为缓解这些挑战而开发的技术,它首先“检索”有关问题的关键信息,然后在“生成”答案之前将这些信息提供给模型——这就是 grounding 的含义。快速获取相关信息以增强模型的知识最终是一个搜索问题。
Quora 和 Palo Alto Networks 等行业领导者正在使用 Google Cloud 的 grounding 功能来增强生成式 AI 体验。
Quora 产品负责人 Spencer Chan 表示：“使用 Google 搜索进行 Grounding 可以转化为更准确、更新和可信赖的答案。到目前为止,我们对积极的反馈感到高兴,因为用户现在能够以更大的信心与 Gemini 机器人进行交互。” Quora 在其 Poe 平台上提供了使用 Google 搜索进行 Grounding 的功能。
Palo Alto Networks 数据科学高级总监 Alok Tongaonkar 表示：“我们试图优化客户体验,并最大限度地提高我们支持代理的效率。通过与 Google Cloud 合作,我们通过将生成式 AI 集成到 Palo Alto Networks 解决方案中实现了这一目标,这增强了理解和响应复杂安全查询的能力。这不仅使客户能够进行自助故障排除,而且还减轻了我们支持团队的压力。通过利用 Vertex AI Agent Builder 的 grounding 功能以及 Gemini 模型的强大功能,我们构建了能够提供准确及时的答案的代理,所有答案都基于可信赖的数据源。Agent Builder grounding 功能的不断进步有望进一步改进信息检索和整体效率。”
使用 Google 搜索进行 Grounding 会产生额外的处理成本,但由于 Gemini 的训练知识非常强大,并非每个查询都需要 grounding。为了帮助用户在对响应质量的需求与成本效益之间取得平衡,使用 Google 搜索进行 Grounding 将很快提供动态检索功能。该功能允许 Gemini 动态选择是在 Google 搜索中 grounding 用户查询还是使用模型的内在知识（这更具成本效益）。
模型可以根据对哪些提示可能与永不改变、缓慢改变或快速改变的信息相关的理解来做到这一点。可以考虑一些询问最新电影的场景,在这些场景中,使用 Google 搜索进行 Grounding 可以提供最新信息。相反,对于一般性问题,例如“告诉我法国的首都是哪里”,Gemini 可以立即从其丰富的知识中汲取信息,无需外部 grounding 即可提供答案。
将模型 grounding 在企业环境中
Google Cloud 坚信,释放生成式 AI 全部潜力的关键在于将其 grounding 在“企业真相”中。这涉及将 AI 模型连接到大量可靠的信息源,包括网络数据、公司文档、运营和分析数据库、企业应用程序以及其他相关来源。
私有数据不在互联网上,Google 搜索无法找到它,因此除了使用 Google 搜索进行 Grounding 之外,Google Cloud 还提供多种方法将 Google 质量的搜索应用于企业数据。Vertex AI Search 开箱即用,适用于大多数企业用例。对于希望构建自定义 RAG 工作流、创建语义搜索引擎或升级现有搜索功能的客户,Google Cloud 提供了用于 RAG 的 API。这套 API 现已全面推出,为文档解析、嵌入生成、语义排名和 grounding 答案生成提供了高质量的实现,以及称为检查 grounding 的信息核查服务。
“德勤的使命是帮助我们的客户识别和实现能够创造差异化业务价值的切实成果。通过使用 Vertex AI Agent Builder 的 grounding 功能,我们构建了内部应用程序来加速我们自己的知识库,以及为行业客户构建外部应用程序,例如协助医疗保健客户的保险提供商到护理提供商搜索的申请流程,”Alphabet Google 联盟全球生成式 AI 负责人、德勤咨询有限公司的 Gopal Srinivasan 说道。“Agent Builder 为我们提供了一个开箱即用的 RAG 系统,可以快速构建值得信赖的相关生成式应用程序。Agent Builder 中新的搜索组件 API 可以在我们创建应用程序时为我们提供更大的灵活性和控制力,从而简化我们内部和行业客户团队的专门需求。”
使用高保真模式进行 Grounding
使用基于 RAG 的代理和应用程序生成的答案通常会将企业数据中提供的上下文与模型的内部训练相结合。虽然这可能对许多用例（如旅行助手）有所帮助,但金融服务、医疗保健和保险等行业通常要求生成的响应仅来自提供的上下文。使用高保真模式进行 Grounding,作为 Grounded Generation API 的一项新功能,专为支持此类 grounding 用例而构建,并已发布实验性预览版。
该功能使用 Gemini 1.5 Flash 模型,该模型经过微调,专注于客户提供的上下文以生成答案。该服务支持关键企业用例,例如跨多个文档的摘要或针对金融数据语料库的数据提取。这导致更高水平的真实性,并减少幻觉。启用高保真模式后,答案中的句子会附加来源,从而为所述声明提供支持。此外,该功能还提供了 Grounding 置信度分数。

更轻松地将受信任的第三方数据用于 RAG
Google Cloud 宣布,从下个季度开始,Vertex AI 将提供一项新服务,允许客户可以使用专门的第三方数据来 grounding 其模型和 AI 代理。这将帮助企业将第三方数据集成到其生成式 AI 代理中,以解锁独特的用例,并在其 AI 体验中推动更大的企业真相。Google Cloud 正在与 Moody’s、MSCI、Thomson Reuters 和 Zoominfo 等主要提供商合作,将他们的数据引入这项服务。
“Google Cloud 的第三方数据 grounding 产品将为毕 KPMG 和我们的客户开辟新的应用程序,” 毕马威全球税务与法律首席技术官 Brad Brown 说道。“通过将来自行业领导者的专业第三方数据无缝集成到我们的生成式 AI 产品中,我们可以减少洞察时间,推动更明智的决策,并最终使用高度可信的数据源提供更大的价值。”
构建您自己的 RAG 系统
嵌入是捕获复杂数据（文本、图像等）中语义关系的数字表示。嵌入支持多种用例,包括推荐系统、广告投放和用于 RAG 的语义搜索。对于此类用例,Vertex AI 提供了向量搜索,它可以扩展到数十亿个向量,并在几毫秒内找到最近的邻居。
Google Cloud 宣布向量搜索扩展,以支持混合搜索。混合搜索结合了基于向量和基于关键字的搜索技术,以确保为用户提供最相关和准确的响应。它现在可以在公开预览版中使用。
此外,Google Cloud 的新文本嵌入模型（text-embedding-004、text-multilingual-embedding-002）在质量方面超过了以前的版本,并且是 MTEB 排行榜上表现最佳的模型之一。它们使 AI 模型能够更好地理解各种数据类型之间的含义、上下文和相似性,并提高嵌入和基于向量搜索的应用程序的性能。“我们研究平台 Factiva 的目标是让用户更容易访问我们超过 20 亿篇文章的数据集中的信息。因此,我们需要创建一种针对相关性和可靠性进行优化的搜索体验,” 道琼斯消费者技术高级副总裁 Clarence Kwei 说道。“通过应用 Google Cloud 的文本嵌入模型 Gecko 和向量搜索,Factiva 现在启用了语义搜索,使其能够以更高的质量和准确性生成对查询的响应,从而带来更好的客户体验,我们相信这将推动进一步的效率提升,并最终提高产品采用率。”
“传统上,我们的搜索逻辑严重依赖于单词匹配。这种方法适用于简单查询（例如‘三星电视’）,但它不适用于更复杂的搜索,例如‘送给我喜欢足球并且是梅西球迷的女儿的礼物’。” Mercado Libre 的高级工程经理 Nicolas Presta 说道。“为了解决这个问题,我们开始使用嵌入和向量搜索技术。我们大多数成功的销售都始于搜索,因此重要的是我们提供与用户查询最匹配的精确结果。通过添加从向量搜索中检索到的商品,这些复杂搜索正在变得更好,这最终将提高我们的转化率。混合搜索将释放更多机会来提升我们的搜索引擎,以便我们能够创造最佳的客户体验,同时改善我们的利润。”
面向企业的一站式解决方案
企业级生成式 AI 时代已经到来。为了帮助组织构建以企业真相为基础的生成式 AI 应用程序,Vertex AI Agent Builder 满足了所有技术专长的客户需求,提供无代码代理控制台、低代码 API 以及对流行的开源框架（如 LangChain、LlamaIndex 和 Firebase GenKit）的支持,使开发人员能够构建可用于生产环境的解决方案。
如果数据已经位于 Google 的某个数据库中,例如 Cloud SQL、Spanner 或 BigQuery,则可以通过连接器访问 Vertex AI Search,也可以使用其内置的向量搜索功能启用语义搜索,以帮助构建企业生成式 AI 应用程序,而无需移动或复制数据。
随着这些技术变得越来越强大,Google Cloud 将致力于帮助企业在现实世界中充分发挥 grounding 生成式 AI 的潜力。
第三步完成,<文章终稿>生成完毕