关键字: [亚马逊云科技， Amazon Bedrock， 亚马逊云科技， Bedrock平台， 一站式解决方案， 模型选择， 数据定制]

在这场演讲中，讲者介绍了亚马逊云科技的Bedrock平台，这是一个一站式解决方案，用于开发生存世界的应用程序。讲者解释了Bedrock平台的几个关键功能:

1. 提供了多种基础模型供选择，包括无服务器模型和基于GPU的模型部署。
2. 支持模型定制化，如模型微调、蒸馏和快速训练。
3. 允许导入本地训练的模型，由Bedrock托管和管理基础设施。
4. 提供了Playground，可以快速体验不同模型的效果。
5. 集成了代理构建、工作流程、知识库管理等模块，支持应用程序开发。
6. 提供了安全防护模块GodRose，可以审核文本和图像内容，防止有害内容和个人信息泄露。
7. 支持可扩展性，包括批量推理、专用计算资源购买、延迟优化、提示词缓存和智能路由等功能，提高性能和降低成本。

该平台旨在通过提供一站式解决方案，帮助客户高效开发生存世界应用程序，实现多种功能，如生成文本、图像、代码等，并确保安全性和可扩展性。

以下是小编为您整理的本次演讲的精华。

亚马逊Bedrock是一个综合性的监督式人工智能开发平台，旨在为客户提供一站式解决方案。它涵盖了人工智能应用程序开发的各个方面，从基础模型的选择、定制，到部署、安全审核、可扩展性优化等，帮助客户降低人工智能应用开发的复杂性和成本。

基础模型的选择是开发人工智能应用程序的第一步。Bedrock提供了多种基础模型的选择，包括一些无服务器的模型接入方式，以及基于GPU实例或亚马逊自有实例的模型部署。用户可以通过Bedrock控制台快速体验和对比不同模型的效果，直观感受它们针对同一个问题或业务场景的响应表现。对于需要量化评估的场景，Bedrock支持程序化的评估方式，用户可以提供自己的业务数据集，借助大型语言模型如Claude系列对不同模型的效果进行评估。此外，Bedrock还支持人工评估模型的方式，用户可以自行组建专门的评估团队，或者利用亚马逊的人力资源进行评估。

在本次实验中，我们可以体验AmdenOne模型和GBSec的R One模型，快速对比它们在相同问题上的表现。首先，我们选择AmdenOne的Light模型，这是Nova系列中等规模的一个模型，小于Pro和Premier但大于Micro。我们可以让它告诉我们北京或上海的一些著名景点，并观察其回答质量。在右上角，我们可以看到当前请求的输入token数量、输出token数量，以及延迟等基础数据。此外，我们还可以打开对比模式，同时选择两个或多个模型进行对比，但由于时间原因，本次实验中我们不展示这一功能。

接下来，我们切换到GBSec的R One模型，这是一个专注于reasoning的模型。我们让它为我们生成一段网页爬虫代码，爬取网页内容并将结果存储到本地数据库中。我们可以看到，该模型首先进行了一步思考，考虑了问题的要求，然后生成了相应的Python代码。代码中包括导入请求、解析HTML的库，设置基础URL、数据库连接等。最后，它按照要求输出了自我检查的结果。虽然我们不展开代码细节，但这个示例展示了GBSec R One模型在编程任务上的出色表现。

除了文本，Bedrock还支持图像生成任务。我们可以选择AmdenOne的图像生成模型，或一些开源模型如Stability Function，并让它们生成指定场景的图像。在本次实验中，我们让AmdenOne的图像生成模型生成一个放在桌子上的蓝色书包的图像。大约经过10-20秒的运行，我们可以看到生成的图像效果，细节丰富、光影效果良好，与手册中展示的内容基本一致。

对于需要知识库支持的场景，Bedrock提供了RAG(Retrieval Augmented Generation)功能。有两种思路可以实现RAG:一种是将上下文或需要进行RAG的内容作为参数送入模型;另一种是先构建知识库，然后让模型从中检索相关信息用于回答问题。在本次实验中，我们展示了第一种方式，提供了一些基础知识，如中国首都信息、北京和上海天气情况等，将其作为参数送入模型。然后，我们问一个综合性问题“中国的首都是哪里，今天的天气是什么样的?”模型能够正确理解问题中包含的两个子问题，并从提供的信息中精确回答“北京，26度”。

模型评估是选择合适模型的重要环节。Bedrock提供了多种评估方式，包括代码计算、借助大型语言模型，或人工评估。在代码计算方式中，用户可以选择一些经典的评估算法进行快速评估。大型语言模型方式则利用了ChatGPT系列模型的出色理解能力、长上下文等优势，通过自动化的方式对模型效果进行评估。人工评估方式允许用户自行组建评估团队，或利用亚马逊的人力资源进行评估。在本次实验中，我们创建了一个名为“小模型评估”的评估任务，选择了一个较小的模型进行评估，设置了准确度、毒性检测、鲁棒性等评估指标，并将结果存储到亚马逊S3对象存储中。由于评估任务需要一定时间运行，我们将在后续查看最终结果。

知识库构建是许多客户面临的另一个挑战。Bedrock支持多种文件格式的知识库构建，包括纯文本、Markdown、XML、Word、Excel、PDF等，覆盖了大部分常见的数据格式。它还具有数据增强功能，可以将图像等非文本数据转换为语义化表达，以丰富知识库内容。例如，对于PDF文档中的图表和图像，Bedrock可以自动生成相应的文字描述，使其能够被人工智能模型理解和处理。

通过Bedrock的NovaBase模块，用户可以快速同步数据源、构建知识库，并支持实时数据注入。在本次实验中，NovaBase模块预先构建了一个关于亚马逊SageMaker产品的知识库，包含了该产品的介绍、功能点等内容，共计10个左右的HTML文件。我们可以在NovaBase模块中点击“同步”按钮，将这些数据注入到知识库中，过程大约需要几十秒。完成同步后，我们可以测试知识库的效果，例如询问“SageMaker是一个什么样的产品?”或“SageMaker的Conditional Step功能是做什么用的?”系统会从知识库中召回相关内容，并使用语言模型生成自然语言回答。

安全与审核是构建人工智能应用程序时必须考虑的重要因素。Bedrock提供了GodRose模块，用于对文本和图像内容进行安全审核。它可以检测有害内容、个人信息泄露、幻觉生成等，并支持自定义过滤规则。在本次实验中，我们首先在GodRose模块中创建了一个围栏，设置了名称、默认回复等基本信息。然后，我们启用了有害内容过滤功能，选择了包括仇恨言论、侮辱性内容、虚假信息等多个分类，并设置了过滤强度为“中等”。另外，我们还启用了提示词攻击防御功能，以防止提示词被扒取后遭到攻击。

接下来，我们添加了一个话题过滤规则，拒绝回答与金融相关的问题，如投资、股票、加密货币等，以模拟金融领域客户的需求。我们还添加了一些个人信息过滤规则，如姓名、车辆识别号等，防止这些敏感信息被泄露。完成配置后，我们使用LamaMT3模型进行测试，询问一个与金融相关的问题。结果显示，模型检测到了被拒绝回答的话题，并给出了我们预先设置的默认回复，展示了GodRose模块的有效性。

为了应对大规模扩展场景，Bedrock提供了多种优化方案，以保证整体吞吐量。其中包括批量推理和预配置计算资源等功能，用户可以购买预配置的算力资源，确保应用程序的性能和响应能力。此外，Bedrock还支持延迟优化、提示词缓存和智能路由等功能，可显著降低延迟和成本。

延迟优化功能利用了亚马逊自研的推理芯片，可以将模型的推理延迟降低60%或更多，具体效果取决于使用的模型和功能模块。在本次实验中，延迟优化模式下，使用拉马3.1 70b模型的推理延迟从26秒左右降低到7.3秒左右，速度提升明显。提示词缓存则可以将输入部分的内容缓存起来，下次再遇到相同的输入时直接读取缓存，从而降低延迟和成本。以NovaOne Light模型为例，当发生缓存命中时，成本仅为标准输入的1/4，节省可观。在36，000个token的场景下，第一次执行时会告知导入消耗和被缓存的数据量，第二次执行时则直接读取缓存。

智能路由功能允许Bedrock根据问题的难度自动将请求路由到合适的模型实例上。对于简单的问题，可以路由到小型模型进行处理，而复杂的问题则路由到商业级别的大型模型上。这样可以避免为简单的问题调用过于庞大的模型，从而降低延迟和成本。智能路由功能已经是Bedrock的正式功能，用户只需将请求发送给提示路由模块，无需额外操作。

在构建智能体应用程序时，Bedrock提供了多种支持。它支持单机和多智能体模式的开发，提供了包括模型选择、工具集成(数据库、API访问、代码解释器)、记忆模块等核心功能。用户可以基于Bedrock快速构建自己的智能助手应用程序。

在本次实验中，Bedrock准备了一个测试智能体，默认集成了知识库模块。用户可以编辑该智能体，打开代码解释功能，从而允许智能体直接生成代码解决问题。例如，当用户询问“3的3次方是多少?”时，智能体会直接生成Python代码进行计算，并给出高精度结果27。如果问题可以通过编程解决，智能体的解决效率和准确度将是最优的。此外，智能体还可以回答一般性问题，如“SageMaker是什么?”它会从集成的知识库中召回相关内容，并使用语言模型生成自然语言回答。

总的来说，亚马逊Bedrock平台为人工智能应用程序的开发提供了一站式的解决方案，涵盖了从模型选择、定制，到部署、安全审核、可扩展性优化等多个环节。它旨在降低人工智能应用开发的复杂性和成本，帮助客户快速构建安全、高效的人工智能解决方案，满足不同业务场景的需求。

亚马逊云科技Bedrock平台提供了一站式解决方案，帮助开发者快速构建和部署基于人工智能的应用程序。该平台涵盖了从模型选择、数据定制、安全防护到代理开发和成本优化等多个环节。

首先，Bedrock提供了多种基础模型供选择，包括文本生成、图像生成和知识库问答等功能。开发者可以通过平台快速评估和比较不同模型的性能，选择最适合自身需求的模型。此外，平台还支持使用私有数据对模型进行定制训练，提高模型在特定领域的表现。

其次，Bedrock内置了GodRose安全防护模块，可以对用户输入和模型输出进行审核，过滤有害内容、个人信息等，并检测模型幻觉，确保应用程序的安全可靠。

再者，Bedrock支持开发和编排智能代理，集成了多种工具和组件，如知识库访问、API集成和代码解释器等，使代理具备记忆和编程解决问题的能力。

最后，平台提供了多种成本优化和性能提升方案，如推理延迟优化、提示词缓存和智能路由等，帮助应用程序实现高效、经济的大规模部署。

总的来说，亚马逊云科技Bedrock平台为开发者提供了全方位的支持，简化了基于人工智能的应用程序开发流程，是构建智能系统的理想选择。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。