OpenVINO

OpenVINO™ 是一个开源工具包,专为优化和部署 AI 推理而设计。它可以提升在计算机视觉、自动语音识别自然语言处理等常见任务中的深度学习性能。OpenVINO 支持使用 TensorFlowPyTorch 等流行框架训练的模型,并能有效地在从边缘到云的各种 Intel® 平台上进行部署。

OpenVINO 的开源版本包括多个组件:模型优化器、OpenVINO™ 运行时、后训练优化工具,以及 CPUGPUGNA、多设备和异构插件,这些插件可以加速在 Intel® CPU 和 Intel® 处理器图形上进行深度学习推理。它支持 Open Model Zoo 的预训练模型,以及 100+ 开源和公共模型,这些模型采用 TensorFlowONNXPaddlePaddleMXNetCaffeKaldi 等流行格式。

OpenVINO 组件

OpenVINO™ 运行时是一组 C++ 库,提供了 C 和 Python 绑定,提供了一个通用的 API,可以在你选择的平台上提供推理解决方案。OpenVINO 还包含了一些插件,这些插件简化了在多种硬件设备上加载模型的过程。

模型优化器是一个跨平台的命令行工具,它便于在训练和部署环境之间进行转换,执行静态模型分析,并调整深度学习模型以便在端点目标设备上优化执行。

后训练优化工具旨在通过应用特殊方法(例如,后训练 8 位量化)来加速深度学习模型的推理,无需模型重新训练或微调。

支持的硬件

OpenVINO™ 运行时可以在不同的硬件设备上推理模型。这包括 Intel CPUARM CPUIntel GPUIntel GNA 等。

许可证

OpenVINO™ 工具包根据 Apache 许可证版本 2.0 授权。通过对项目的贡献,你同意其中的许可证和版权条款,并根据这些条款发布你的贡献。


本文作者:Maeiee

本文链接:OpenVINO

版权声明:如无特别声明,本文即为原创文章,版权归 Maeiee 所有,未经允许不得转载!


喜欢我文章的朋友请随缘打赏,鼓励我创作更多更好的作品!