AWS 上的客户使用 Amazon SageMaker 和其他服务（例如 AWS Lambda 、 AWS Fargate 、 AWS Elastic Beanstalk 和 Amazon Elastic Compute Cloud (Amazon EC2)）在生产中部署经过训练的机器学习 (ML) 和深度学习 (DL) 模型。Amazon SageMaker 提供开发工具包和仅控制台的工作流来部署经过训练的模型，并包括用于创建或更新终端节点、自动扩展、模型标记、模型监控以及用于创建生产变体和多模型终端节点的功能。

一旦拥有模型，将其部署到终端节点就很简单，只需在控制台上单击 创建终端节点 ，或者使用具有相应输入参数的 适用于 Python 的 AWS 开发工具包 (Boto3)。

但是，只有将此开发工具包用于特定框架、第一方容器（如下面的 DeepAR 容器）时，或者如果您已准备好将预构建的容器映像与模型构件一起部署到终端节点，这一说法才正确；此外，该过程中的一个必要步骤是提供包含模型文件的已压缩 tar.gz 文件的路径。

如果您在本地拥有一个或多个模型文件（例如序列化的 scikit-learn pickle 文件、PyTorch .pth 文件等），并且希望以最小的工作量来部署模型，该怎么办？ 在本博文中，我们介绍了称为 ezsmdeploy 的基于 Python 的开发工具包，它可让用户通过传入一个或多个用于部署的模型文件、推理脚本以及推理脚本使用的任何其他其他要求来部署模型。

ezsmdeploy 开发工具包简介

Ezsmdeploy Python 开发工具包可帮助您轻松部署机器学习模型，并且提供了丰富的功能集，例如能够传递一个或多个模型文件（是的，通过多模型部署），根据模型大小或预算自动选择实例以及使用直观的 API 来加载-测试终端节点。Ezsmdeploy 使用 Amazon SageMaker Python 开发工具包 ，它是一个开源库，用于在 Amazon SageMaker 上训练和部署机器学习模型。但是，此开发工具包致力于简化现有模型的部署。因此，此开发工具包适用于以下情况：

请注意，对于某些 SageMaker 估算器而言，从预训练的模型进行部署很容易，例如，考虑 TensorFlow SavedModel 格式。您可以轻松保存 save_model.pb 和变量文件并使用 sagemaker.tensorflow.serving.Model 来注册和部署模型。但是，如果将您的 TensorFlow 模型另存为检查点、HDF5 文件或 TensorFlow Lite 文件，或者如果您需要跨多种类型的序列化模型文件进行部署，则这可能有助于标准化部署管道，并且无需为每个模型构建新容器。

安装 ezsmdeploy

要安装 ezsmdeploy：

pip install ezsmdeploy 

要在虚拟环境中安装：

python -m venv env
source env/bin/activate
pip install ezsmdeploy[locust]

ezsmdeploy 的重要功能

首先，让我们看一下最低部署的参数数量。ezsmdeploy 至少需要：

例如，您可以执行以下操作：

ezonsm = ezsmdeploy.Deploy(model = 'model.pth',
              script = 'modelscript_pytorch.py',
              requirements = ['numpy','torch','joblib'])

这将创建一个具有 numpy 、 torch 和 joblib 附加依赖项的容器，使用您的模型脚本（ 'modelscript_pytorch.py' ）和序列化的 PyTorch 模型（ 'model.pth' ），并将模型部署到终端节点。在这种情况下，由于未指定实例类型，因此 ezsmdeploy 会衡量模型的大小，并按照最佳实践至少运行四个具有此模型大小的工作线程来选择实例。

为了完整起见，这里还提到了一些其他可能有用的功能，并在 ezsmdeploy 的 PyPi 网站 上进行了维护。

pip install ezsmdeploy[locust]

如何写入 model_script.py

确保模型脚本具有 load_model() 和 predict() 函数。尽管您仍然可以使用 SageMaker 的序列化器和反序列化器，但假设您将获得负载（以字节为单位），并且必须返回预测值（以字节为单位）。两者之间的操作完全由您决定。例如，您的模型脚本可能类似于：

def load_model(modelpath):
    clf = load(os.path.join(modelpath,'model.joblib'))
    return clf
def predict(model, payload):
        # in remote / container based deployment, payload comes in as a stream of bytes
        out = [str(model.predict(np.frombuffer(payload[0]['body']).reshape((1,64))))]
    except Exception as e:
       out = [type(payload),str(e)] #useful for debugging!
return out

如何手动调整在后台发生的事件

Ezsmdeploy 将为所有部署生成源文件夹 src 。您可以编辑该源文件夹，并将其与 ezsmdeploy 或 SageMaker 开发工具包一起使用以部署模型。此外，该开发工具包是开源工具，并且 欢迎提出拉取请求 。

端到端示例

您可以在 GitHub 存储库 中找到 TensorFlow、PyTorch、MXNet 和 scikit-learn 的端到端示例。

在这篇博文中，我们介绍了 ezsmdeploy，它是一种程序包，可通过单个 API 调用来帮助部署自定义机器学习和深度学习模型，并且提供了自动扩展、多模型终端节点、基于 locust 的负载测试、Elastic Inference 和模型监控等功能。请参阅 SageMaker 文档，以 了解终端节点托管的工作方式 和部署模型的最佳实践。

图片精选自 Pixabay 。