一、基于docker安装TF-Serving
参考文档:
https://tensorflow.google.cn/tfx/serving/docker基于docker的安装首先需要安装docker
https://zhuanlan.zhihu.com/p/45109194
在docker的下载地址
https://download.docker.com/linux/ubuntu/dists/中查找ubuntu对应的版本
查看ubuntu版本:
cat /proc/version
查看详细信息:lsb_release -a
可以看到ubuntu的代号名称为:xenial,cput为AMD64 因此到文件夹中去选取对应版本的文件:获取.deb安装文件:
wget https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/docker-ce_18.03.0~ce-0~ubuntu_amd64.deb
使用dpkg命令进行安装:dpkg -I docker-ce_18.03.0~ce-0~ubuntu_amd64.deb
执行hello-world测试是否安装成功:用dpkg命令安装后有遇到过docker没有正常启动的问题,好像是缺失mkl还是systemstl 没有启动docker,忘了记录,后续有同学遇到再补充 。
在docker中启动服务
【详解tensorflow基础知识 tensorflow安装教程】准备docker环境
docker pull tensorflow/serving
这个命令会获取一个预先安装好的虚拟环境,可以在docker中操作虚拟环境,TensorflowServing提供两种形式的调用:RestFull和GRPC一、RestFull API调用
下载tfserving的示例代码
mkdir tfservingcd tfservinggit clone https://github.com/tensorflow/serving
运行TF Servingdocker run -p 8501:8501--mount type=bind,source=/root/maoyaozong/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,target=/models/half_plus_two-e MODEL_NAME=half_plus_two -t tensorflow/serving
这里提供8501端口作为REST API的端口号,绑定了模型的原始地址,并且命名模型的名称model_name=half_plus_two客户端验证
curl -d\\\'{"instances": [1.0, 2.0, 5.0]}\\\'-X POST http://localhost:8501/v1/models/half_plus_two:predict
获取返回结果{ "predictions": [2.5, 3.0, 4.5] }
二、GRPC API调用下载tfserving的示例代码
mkdir tfservingcd tfservinggit clone https://github.com/tensorflow/serving
模型编译/root/anaconda3/bin/pythontensorflow_serving/example/mnist_saved_model.py models/mnist
在目录下会多出一个models的文件夹,用来存储模型运行TF Serving
dockerrun -p 8500:8500 --mounttype=bind,source=$(pwd)/models/mnist,target=/models/mnist -e MODEL_NAME=mnist -t tensorflow/serving
安装tensorflow-serving-apipip install tensorflow-serving-api
客户端验证/root/anaconda3/bin/pythontensorflow_serving/example/mnist_client.py --num_tests=1000--server=127.0.0.1:8500
Inference error rate: 10.4%
推荐阅读
- 阔腿裤如何搭配上衣 阔腿裤如何搭配上衣详解
- 月下夜想曲攻略 全流程攻略详解
- 妇女节是什么意思 这里有这个节日的详解
- 胡一天个人资料 胡一天个人简介详解
- 喝牛奶会不会长胖 来这里看详解
- be和he分别是什么意思 be和he的详解
- 详解其整个流程作用 互联网产品开发流程8个步骤
- 阿拉德之怒属性详解 了解一下
- 超详解析两者间的区别 产品运营和产品经理的区别
- 让钱翻倍的最快方法 投资理财基础知识