通用深度学习推理服务

可在生产环境中快速上线由TensorFlow、PyTorch框架训练出的深度学习模型。

dl_inference是58同城推出的通用深度学习推理服务，使用dl_inference只需要将模型文件放在指定目录然后启动服务就可以进行推理请求调用。dl_inference当前支持TensorFlow和PyTorch模型，提供GPU和CPU两种部署方式，并且实现了模型多节点部署时的负载均衡策略，支持线上海量推理请求。

dl_inference具备的Features如下：

• 简化深度学习模型在生产环境上的推理服务部署，只需要将模型文件放入指定目录。

• 支持模型多节点部署并实现负载均衡。

• 提供统一的RPC服务调用接口。

• 提供GPU和CPU两种部署方式。

• PyTorch模型支持推理前后数据处理，开放模型调用。

github地址：https://github.com/wuba/dl_inference