以下是关于在Azure Machine Learning中部署模型的总结
最初
Azure 机器学习（AzureML）是一个支持从头到尾的机器学习方案的平台。在 AzureML 中，您可以选择不同的目标来部署机器学习模型。文档中包含了各种信息，但一开始看的时候不太明白，所以我自己总结了整体感觉。
推論の種類とそれに対応するAzureMLマネージドなエンドポイントの分類イメージです。
── 推論
├── リアルタイム (オンライン)推論
│ └── マネージドオンラインエンドポイント
│ └── Kubernetesオンラインエンドポイント
│ └── ローカルエンドポイント
├── バッチ推論
│ └── バッチエンドポイント
オンラインエンドポイント
低レイテンシなリアルタイム (オンライン)推論を行う場合に利用する推論環境で、マネージドオンラインエンドポイント、Kubernetesオンラインエンドポイントにより構成されています。またDev/Test用のローカルエンドポイントもこちらに加えることができます。
概念：终端点是什么？- Azure Machine Learning | 微软学习
マネージドオンラインエンドポイントとKubernetesオンラインエンドポイントはオンラインエンドポイントの一種として、ほぼ同じ手順で構成ができるようになっています。そのためか、MLモデルをデプロイする手順を解説しているドキュメントも統一されています。
デプロイ手順：Deploy machine learning models to online endpoints – Azure Machine Learning | Microsoft Learn
如果是针对MLflow模型或Triton模型，可以在不编写评分脚本的情况下进行部署。
托管的在线终端点
以下是在AzureML管理的计算环境上部署的方法。您无需进行虚拟机的更新或基础设施管理，只需轻松进行自动扩展和计算资源监控等操作。它是一个托管基础设施，自动更新主机操作系统映像并在系统故障时自动恢复节点。
ミラートラフィック機能を使ったシャドウテストも対応しています。エンドポイントの段階でトラフィックを複製して新しいモデルデプロイメントに送ります。そうすることで、クライアント側アプリケーションに影響を与えずに新しいモデルデプロイメントのエラー、レイテンシー等々のテストを行えます。
Azure机器学习 | 微软学习：镜像流量：在线终端点的安全发布
也有一篇易于理解的解释文章：
在Azure Machine Learning中尝试使用在线端点的镜像流量功能 – Qiita
Kubernetes在线端点
这是将模型部署到本地/云上的Kubernetes集群的方法。通过连接Kubernetes集群的Azure Arc，您可以直接将模型部署到运行在本地、AWS、GCP以及其他公共云的Kubernetes集群上。如果是Azure的话，Azure Kubernetes Service (AKS) 也是可选的。据我所知，AWS SageMaker和GCP Vertex AI都没有将训练过的模型直接部署到Kubernetes集群的功能，所以如果您已经有了Kubernetes环境，这是一个不错的选择。另外，能够在同一个Kubernetes集群上进行模型训练和推断也是一个亮点。
在Azure Machine Learning中，Kubernetes计算目标的概览- Azure Machine Learning | Microsoft Learn。
以下的两个端点的区别已总结在本节中。
托管在线端点和Kubernetes在线端点。
本地端点
在将训练好的模型部署到在线端点之前，您可以将其部署到本地的Docker环境中进行测试。部署配置的YAML文件等保持不变，只需在部署时添加 –local（CLIv2的情况下）选项，就可以轻松地将模型部署到本地进行测试。这个功能是以开发/测试为目的而存在的。
步骤：将机器学习模型部署到在线端点 – Azure Machine Learning | Microsoft Learn
使用VSCode进行集成：使用VS Code在本地调试在线端点(预览版) – Azure Machine Learning | Microsoft Learn
批处理终端处
这是用于对大量数据进行批量推理的端点。您可以对分散在多个文件中的大量数据进行并行处理来进行推理。
如果要部署MLFlow模型，计算资源将被指定为计算集群。在这种情况下，不需要指定评分脚本和执行环境。
概念：什么是批处理终端节点
步骤：使用批处理终端节点进行批量评分 – Azure Machine Learning | Microsoft Learn
AzureML 推論 HTTP 服务器被称为他。
在 AzureML 托管的推理服务中，我们可以将 AzureML 推理 HTTP 服务器作为推理服务器使用，并通过 Python 包进行公开。您可以使用此推理服务器在本地或使用您自己的计算资源部署和使用模型。
请参阅此文章获取更详细的信息：
非常易懂的文章：
使用Azure Machine Learning Inference HTTP Server在本地执行推理脚本
文档：
Azure Machine Learning 推理 HTTP 服务器
总结
在Azure Machine Learning中，您可以选择将模型部署在本地、Azure、AWC（Amazon Web Services China）或GCP（Google Cloud Platform）等各种云端环境中。下面是一些有参考价值的文件链接。
如果想更多地了解终结点的概念：
终结点是什么？- Azure 机器学习 | 微软学习
如果想要尝试将模型部署到在线端点，可以使用Azure机器学习。
如果你想要用Python尝试使用AzureML进行模型训练和部署的流程，你可以参考以下的1天教程：《Azure ML简易教程：一天学会Azure机器学习 – Azure Machine Learning | 微软学习》。
如果有任何问题或疑问，请在评论区留言。
