运行pytorch程序时，有时候会出现torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work...的错误，因为显存满了，程序中止执行。GPU显存主要用于存放模型参数和中间计算变量，模型参数可以根据数量及参数的数据类型进行计算，一般模型参数采用的是torch.cuda.FloatTensor和torch.cuda.IntTensor两种，即32位的浮点类型和整数类型，32bit即4B，据此可以计算模型参数所占据的GPU空间。出现GPU显存不够的错误更有可能是中间计算变量过多，这需要检查代码，以便及时清除不必要的中间计算变量，优化代码。
1. 工具
To be continue