利用 MongoDB 时序集合和 Amazon SageMaker Canvas 加速洞察时间

由 Igor Alekseev 和 Babu Srinivasan 于 2023 年 12 月 18 日发表，来源于 Amazon SageMaker 、 Amazon SageMaker Canvas 、 人工智慧 中级 (200) 永久连结评论 分享

这是一篇与 Babu Srinivasan 共同撰写的客座文章。

重要观察

当前快速变化的业务环境中，各行各业都面临未能实时预测的重大挑战。缺乏即时预测使得业务决策和运营效率受到显著影响。各行各业，特别是金融、零售、供应链管理和物流，若不具备及时洞察，将可能错失机会、面临成本上升、资源配置不当及无法满足客户期望。通过探索这些挑战，企业可以认识到实时预测的重要性，并寻求创新解决方案以超越障碍，提升竞争力。

通过结合 MongoDB 的原生 时序 数据能力与 Amazon SageMaker Canvas 的强大功能，组织能够克服这些挑战，实现灵活性。MongoDB 的时序数据管理使得实时存储和检索大量时序数据变得可行，并且 SageMaker Canvas 的先进机器学习算法提供准确和动态的预测模型。

在本文中，我们将探讨使用 MongoDB 的时序数据和 SageMaker Canvas 作为综合解决方案的潜力。

MongoDB Atlas

MongoDB Atlas 是一个全托管的开发者数据平台，简化了在云上部署和扩展 MongoDB 数据库的流程。它是一种基于文档的存储，提供全托管的数据库，内建全文和向量 搜索、支持 地理空间 查询、图表 及原生支持高效的 时序 存储和查询能力。MongoDB Atlas 提供自动分片、水平方向扩展和灵活索引，以支持大规模数据摄取。在这一系列功能中，原生时序能力是一个亮点，使其成为管理高交易量时序数据例如业务关键应用数据、遥测、伺服器日志等的理想选择。通过高效的查询、聚合和分析，企业可以从时间戳数据中提取有价值的洞察，帮助制定数据驱动的决策，获得竞争优势。

Amazon SageMaker Canvas

Amazon SageMaker Canvas 是一项可视化机器学习 (ML) 服务，使用户分析师和数据科学家能够无需任何机器学习经验或编写代码即可构建和部署自定义 ML 模型。SageMaker Canvas 支持多种用例，包括 时序预测 ，该功能使企业能够准确预测未来需求、销售、资源需求及其他时序数据。该服务利用深度学习技术处理复杂数据模式，使企业即使在历史数据最少的情况下也能生成准确的预测。通过利用 Amazon SageMaker Canvas 的功能，企业能够做出明智的决策，优化库存水平，提高运营效率，增强客户满意度。

SageMaker Canvas 的用户界面使用户可以无缝地集成云端或本地的数据源，轻松合并数据集，训练精确模型，并对即将到来的数据进行预测所有这一切都无需编码。如果需要自动化工作流程或将 ML 模型直接集成到应用中，Canvas 的预测功能可以通过 API 进行访问。

解决方案概述

用户在 MongoDB Atlas 中持续保存其交易时序数据。通过 Atlas 数据联邦，数据被提取到 Amazon S3 存储桶中。Amazon SageMaker Canvas 访问该数据以构建模型并创建预测。预测结果存储在 S3 存储桶中。利用 MongoDB 数据联邦服务，预测结果通过 MongoDB 图表进行可视化展示。

以下图表概述了建议的解决方案架构。

前提条件

在这个解决方案中，我们使用 MongoDB Atlas 来储存时序数据，使用 Amazon SageMaker Canvas 训练模型并生成预测，并使用 Amazon S3 存储从 MongoDB Atlas 提取的数据。

请确保已满足以下前提条件：

配置 MongoDB Atlas 集群

根据 创建集群 的说明，创建一个免费的 MongoDB Atlas 集群。设置 数据库访问 和 网络访问。

在 MongoDB Atlas 中填充时序集合

为了进行本次演示，您可以使用来自 Kaggle 的示例数据集，并通过 MongoDB 工具最好使用 MongoDB Compass将其上传至 MongoDB Atlas。

以下代码显示了时序集合的示例数据集：

json{ store 1 1 timestamp { 20100205T000000000Z} temperature 4231 targetvalue 2572 IsHoliday false}

以下截图显示了 MongoDB Atlas 中示例时序数据：

创建 S3 存储桶

创建 一个 AWS S3 存储桶，以存储和分析时序数据。请注意，我们有两个资料夹：salestraindata 用于存储从 MongoDB Atlas 中提取的数据，而 salesforecastoutput 则包含来自 Canvas 的预测。

创建数据联邦

在 Atlas 中设置 数据联邦 ，并将之前创建的 S3 存储桶注册为数据源。注意在数据联邦中为 Atlas 集群、MongoDB Atlas 数据的 S3 存储桶和存储 Canvas 结果的 S3 存储桶创建了三个不同的数据库/集合。

以下截图显示了数据联邦的设置。

设置 Atlas 应用服务

创建 MongoDB 应用服务 将函数部署到 MongoDB Atlas 集群以将数据转移到 S3 存储桶，使用 out 聚合来实现。

验证数据源配置

应用服务创建一个新的 Atlas 服务名称，并在以下函数中作为数据服务使用。请验证 Atlas 服务名称是否已创建，并记下以供将来参考。

创建函数

设置 Atlas 应用服务以创建 触发器和函数。这些触发器需要根据业务需求安排定期将数据写入 S3。

以下脚本显示了写入 S3 存储桶的函数：

javascriptexports = function () { const service = contextservicesget() const db = servicedb() const events = dbcollection()

const pipeline = [    {        out {            s3 {                bucket ltS3bucketnamegt                region ltAWSRegiongt                filename {concat [ltS3pathgt/ltfilenamegt{toString  new Date(Datenow())}]}                format {                    name json                    maxFileSize 10GB                }            }        }    }]return eventsaggregate(pipeline)

}

示例函数

可以通过运行选项卡运行函数，并使用应用服务中的日志功能进行错误调试。此外，也可以通过左侧菜单中的日志功能进行错误调试。

以下截图显示了函数的执行结果及其输出：

在 Amazon SageMaker Canvas 中创建数据集

以下步骤假设您已经创建了一个 SageMaker 域和用户配置档。如果尚未完成，请确保配置 SageMaker 域和用户配置档。在用户配置档中，更新您的 S3 存储桶为自定义，并提供存储桶名称。

完成后，导航到 SageMaker Canvas，选择您的域和配置档，然后选择 Canvas。

创建数据集并提供数据源。

选择数据集来源为 S3。

从 S3 存储桶中选择数据位置，然后选择创建数据集。

查看结构后，点击创建数据集。

数据集成功导入后，将显示在列表中，如下图所示。

训练模型

接下来，我们将使用 Canvas 设置训练模型。选择数据集并点击创建。

创建模型名称，选择预测分析并点击创建。

选择目标栏位。

接下来，点击配置时序模型并将 itemid 选为物品 ID 栏。

将 tm 选为时间戳栏。

![选择时间戳栏](https//d2908q01vomqb2cloudfrontnet/f1f836cb4ea6efb2a0b1b99f41