py是什么文件格式（py2是什么文件）



大家好，又见面了，我是你们的朋友全栈君。

参考：

一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如 caffe，TensorFlow 等。由于训练的网络模型可能会很大（比如，inception，resnet 等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的，比如自动驾驶要求实时目标检测，目标追踪等。所以为了提高部署推理的速度，出现了很多轻量级神经网络，比如 squeezenet，mobilenet，shufflenet 等。基本做法都是基于现有的经典模型提出一种新的模型结构，然后用这些改造过的模型重新训练，再重新部署。

而 TensorRT 则是对训练好的模型进行优化。 TensorRT 就只是推理优化器。当你的网络训练完之后，可以将训练模型文件直接丢进 TensorRT中，而不再需要依赖深度学习框架（Caffe，TensorFlow 等），如下：

可以认为 TensorRT 是一个只有前向传播的深度学习框架，这个框架可以将 Caffe，TensorFlow 的网络模型解析，然后与 TensorRT 中对应的层进行一一映射，把其他框架的模型统一全部转换到 TensorRT 中，然后在 TensorRT 中可以针对 NVIDIA 自家 GPU 实施优化策略，并进行部署加速。

如果想了解更多关于 TensorRT 的介绍，可参考

TensorRT 的安装方式很简单，只需要注意一些环境的依赖关系就可以，我们以 TensorRT 5.0.4 版本为例，参考，这里简单总结一下步骤

TensorRT 支持的环境和 Python 版本如表所示（）

如果要使用 Python 接口的 TensorRT，则需要安装 Pycuda

我在 ubuntu 16.04 上安装时报错如下

ERROR: Could not build wheels for pycuda which use PEP 517 and cannot be installed directly

目前还没找到解决方法，但在 ubuntu18.04 上安装时没问题

安装时只需要把压缩文件解压，相应的库文件拷贝到系统路径下即可

为了避免其它软件找不到 TensorRT 的库，建议把 TensorRT 的库和头文件添加到系统路径下

如果要使用 python 版本，则使用 pip 安装，执行下边的指令

很多人安装某些版本的时候会报错，比如

ERROR: tensorrt-6.0.1.5-cp36-none-linux_x86_64.whl is not a supported wheel on this platform.

这个是因为自己 python 版本不对，输入 pip –version 来查看 python 版本是否是自己想象中的版本，不对的话切换一下

============= 更新 ===============

为了避免安装时各种问题，我们也可以使用 deb 包的方式安装，即在 2.3 步骤中选择自己系统对应的版本，然后使用如下指令安装

安装完之后运行下边指令

输出如下，表明安装成功

运行 python 测试，导入模块不报错就表明安装正确

注意：导入 uff 的时候需要安装 tensorflow 模块，tensorflow 版本要与 cuda 版本对应，比如 cuda9 要对应 tensorflow1.12 及以下版本，以上版本需要 cuda10，具体参考

如果导入 TensorRT 报错如下，则是因为 python 版本不对，应根据 2.1 节上边的那个表调整自己的 python 版本

Traceback (most recent call last): File “<stdin>”, line 1, in <module> File “/home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/__init__.py”, line 1, in <module> from .tensorrt import * ImportError: /home/xxx/anaconda3/lib/python3.6/site-packages/tensorrt/tensorrt.so: undefined symbol: _Py_ZeroStruct

安装后会在 /usr/src 目录下生成一个 TensorRT 文件夹,里面包含 bin,data,python,samples 四个文件夹，samples 文件夹中是官方例程的源码；data,python 文件中存放官方例程用到的资源文件，比如 caffemodel 文件，TensorFlow 模型文件，一些图片等；bin 文件夹用于存放编译后的二进制文件。

============= 更新 ===============

也可以使用如下方法测试

在 /TensoRT-5.0.2.6/samples/python 文件夹下有很多 python 的例子，我们以第一个 end_to_end_tensorflow_mnist 的例子为例，描述 TensorRT 的使用流程，在 README.md 文件里也说得很明白了

需要安装好 numpy、Pillow、pycuda、tensorflow 等环境，如果都有可以跳过

运行 model.py 后，会下载数据 mnist.npz，并开始训练，完成后在 models 文件夹下生成 lenet5.pb 文件，如果自己已经训练得到 pb 文件，上述过程可以跳过

要将 tensorflow 的 pb 文件转化为 uff 格式的文件，首先找到 convert_to_uff 文件，看自己用的是哪个版本的 python，如果是 python3，则在 /usr/lib/python3.5/dist-packages/uff/bin 文件夹下，如果是 python2，则在 /usr/lib/python2.7/dist-packages/uff/bin 文件夹下

我们在终端中进入 end_to_end_tensorflow_mnist，运行以下指令

则会在 models 文件夹中生成 lenet5.uff 文件

需要注意的是：该转化过程只支持在 x86 平台上实现，如果想在 TX2 等嵌入式平台上使用 TensorRT ，需要先在 x86 平台上将 pb 模型转化为 uff 文件，然后再拷贝到 TX2 上使用

运行 sample.py 文件，得到如下输出，表明可完整的使用 TensorRT

4 使用自己的模型

前边 3 步相当于是环境的配置，当然还不够，我们需要的是可以转化并运行我们自己的模型，达到加速的效果，因此接下来对相关的工作进行总结，具体转换参考《》

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/128721.html原文链接：https://javaforall.cn

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/80518.html