极客笔记TensorFlow 如何使用Serving在Python中部署模型
部署机器学习模型在使AI应用程序功能正常方面起着至关重要的作用，为了在生产环境中有效地服务模型，TensorFlow Serving提供了一个可靠的解决方案。当一个模型经过训练并准备部署时，有效地提供服务以处理实时请求至关重要。TensorFlow Serving是一个强大的工具，可以在生产环境中顺利部署机器学习模型。
在这篇文章中，我们将深入介绍使用TensorFlow Serving在Python中部署模型的步骤。
什么是模型部署
模型部署涉及使训练好的机器学习模型可用于实时预测。这意味着将模型从开发环境转移到一个能够高效处理传入请求的生产系统中。TensorFlow Serving是一个专门设计用于部署机器学习模型的高性能系统。
设置TensorFlow Serving
首先，我们需要在系统上安装TensorFlow Serving。按照下面的步骤设置TensorFlow Serving –
步骤1：安装TensorFlow Serving
通过包管理器pip安装TensorFlow Serving。打开命令提示符或终端，输入以下命令 –
pip install tensorflow-serving-api
步骤2：启动 TensorFlow Serving 服务器
安装完成后，通过运行以下命令来启动 TensorFlow Serving 服务器 –
tensorflow_model_server --rest_api_port=8501 --model_name=my_model --model_base_path=/path/to/model/directory
将 /path/to/model/directory 替换为你训练的模型存储的路径。
准备模型进行部署
在部署模型之前，需要将其保存为TensorFlow Serving可以理解的格式。按照以下步骤准备你的模型进行部署 –
将模型保存为SavedModel格式
在Python脚本中，使用以下代码将训练好的模型保存为SavedModel格式 –
import tensorflow as tf
# Assuming `model` is your trained TensorFlow model
tf.saved_model.save(model, '/path/to/model/directory')
定义模型签名
模型签名提供有关模型的输入和输出张量的信息。使用 tf.saved_model.signature_def_utils.build_signature_def 函数定义模型签名。下面是一个示例：
inputs = {'input': tf.saved_model.utils.build_tensor_info(model.input)}
outputs = {'output': tf.saved_model.utils.build_tensor_info(model.output)}
signature = tf.saved_model.signature_def_utils.build_signature_def(
inputs=inputs,
outputs=outputs,
method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
)
保存带有签名的模型
要将模型与签名一起保存，请使用以下代码 –
builder = tf.saved_model.builder.SavedModelBuilder('/path/to/model/directory')
builder.add_meta_graph_and_variables(
sess=tf.keras.backend.get_session(),
tags=[tf.saved_model.tag_constants.SERVING],
signature_def_map={
tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature
}
)
builder.save
()
使用TensorFlow Serving提供模型
现在我们的模型已经准备好了，是时候使用TensorFlow Serving来提供它了。按照以下步骤进行：
建立与TensorFlow Serving的连接
在Python脚本中，使用gRPC协议与TensorFlow Serving建立连接。以下是一个示例：
from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc
channel = grpc.insecure_channel('localhost:8501')
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
创建请求
为了进行预测，创建一个请求protobuf消息并指定模型名称和签名名称。下面是一个示例：
request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY
request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
将 data 替换为要进行预测的输入数据。
发送请求并获取响应
将请求发送给TensorFlow Serving并获取响应。以下是一个示例−
response = stub.Predict(request, timeout_seconds)
output = tf.contrib.util.make_ndarray(response.outputs['output'])
timeout_seconds 参数指定等待响应的最长时间。
测试部署的模型
为确保部署的模型正常工作，有必要使用示例输入对其进行测试。以下是如何测试部署的模型的方法：
准备示例数据
创建一组与模型预期输入格式相匹配的示例输入数据。
向部署的模型发送请求
创建请求并将其发送到部署的模型。
request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY
request.inputs['input'].CopyFrom(tf.contrib.util.make_tensor_proto(data, shape=data.shape))
评估输出
比较从部署模型获得的输出和预期输出。此步骤确保模型进行准确的预测。
扩展和监视部署
随着对预测的需求增加，扩展部署以处理大量的传入请求至关重要。此外，监视部署有助于跟踪部署模型的性能和健康状况。考虑实施以下扩展和监视策略−
扩展
- 使用多个TensorFlow Serving实例进行负载均衡。
-
使用Docker和Kubernetes等平台进行容器化。
监视
-
收集请求延迟、错误率和吞吐量等度量指标。
-
设置警报和通知关键事件。
示例
以下是一个程序示例，展示如何使用TensorFlow Serving部署模型−
import tensorflow as tf
from tensorflow import keras
# Load the trained model
model = keras.models.load_model("/path/to/your/trained/model")
# Convert the model to the TensorFlow SavedModel format
export_path = "/path/to/exported/model"
tf.saved_model.save(model, export_path)
# Start the TensorFlow Serving server
import os
os.system("tensorflow_model_server --port=8501 --model_name=your_model --model_base_path={}".format(export_path))
在上面的示例中，您需要将“/path/to/your/trained/model”替换为您训练模型的实际路径。该模型将使用Keras的 load_model() 函数加载。
接下来，将模型转换为TensorFlow SavedModel格式，并保存在指定的导出路径。
然后使用 os.system() 函数启动TensorFlow Serving服务器，该函数执行tensorflow_model_server命令。此命令指定服务器端口、模型名称（your_model）和导出模型所在的基本路径。
请确保已安装TensorFlow Serving，并将文件路径替换为系统中适当的值。
预期输出
一旦服务器成功启动，它将准备好提供预测。您可以使用另一个程序或API向服务器发送预测请求，服务器将根据加载的模型返回预测输出。
结论
总之，在生产环境中部署机器学习模型以利用其预测能力非常重要。在本文中，我们探讨了使用TensorFlow Serving在Python中部署模型的过程。我们讨论了安装TensorFlow Serving、准备模型进行部署、提供模型以及测试其性能。通过遵循这些步骤，我们可以成功部署TensorFlow模型并进行精确的实时预测。