[施工中] cupy与torch的导入顺序不同对计算结果的影响

Sun, 17 Dec 2023 18:22:24 +0800

背景
#

公司内部的基于torch的toolbox发现某个版本之后,结果发生了偏移. 通过一系列排查,发现当导入cupy和torch的顺序不同时，计算结果会有所差异。也就是说,如下两段代码会导致模型训练等环节的计算得到不同的结果.

pytorch 函数笔记

Fri, 23 Feb 2018 02:55:25 +0000

记录一些常用的…总去查文档也是有点麻烦

tensor.view 的作用是reshape 比如 a = torch.range(1, 16) 得到一个tensor that has 16 elements from 1 to 16. 在a=a.view(4,4)就得到了一个44的tensor。需要注意reshape之后元素的个数不能改变(16==44) 参数-1的作用是，我懒得算这一维度应该是多少,（由于元素个数不能改变）所以希望自动被计算。需要注意的是，只有一个维度可以写-1。不过view和reshape有些区别：reshape always copies memory. view never copies memory
#

torch.squeeze 将输入张量形状中的`1` 去除并返回。如果输入是形如(A×1×B×1×C×1×D)，那么输出形状就为： (A×B×C×D)当给定`dim`时，那么挤压操作只在给定维度上。例如，输入形状为: (A×1×B), `squeeze(input, 0)` 将会保持张量不变，只有用 `squeeze(input, 1)`，形状会变成 (A×B)。注意：返回张量与输入张量共享内存，所以改变其中一个的内容会改变另一个。
#

torch.unsqueeze 返回一个新的张量，对输入的制定位置插入维度 1 注意：返回张量与输入张量共享内存，所以改变其中一个的内容会改变另一个。如果`dim`为负，则将会被转化dim+input.dim()+1
#

 1>>> x = torch.Tensor([1, 2, 3, 4])
 2>>> torch.unsqueeze(x, 0)
 3 1 2 3 4
 4[torch.FloatTensor of size 1x4]
 5>>> torch.unsqueeze(x, 1)
 6 1
 7 2
 8 3
 9 4
10[torch.FloatTensor of size 4x1]
11
12
13
14 * 

Pytorch on 111qqz's blog

[施工中] cupy与torch的导入顺序不同对计算结果的影响

背景
#

pytorch 函数笔记

torch.unsqueeze 返回一个新的张量，对输入的制定位置插入维度 1 注意：返回张量与输入张量共享内存，所以改变其中一个的内容会改变另一个。如果`dim`为负，则将会被转化dim+input.dim()+1
#

tensor.contiguous 将一个tensor变成连续的。（一些ops如expand/expand_as会让tensor 不连续）
#

Pytorch on 111qqz's blog

[施工中] cupy与torch的导入顺序不同对计算结果的影响

背景 #

pytorch 函数笔记

torch.unsqueeze 返回一个新的张量，对输入的制定位置插入维度 1 注意： 返回张量与输入张量共享内存，所以改变其中一个的内容会改变另一个。如果dim为负，则将会被转化dim+input.dim()+1 #

tensor.contiguous 将一个tensor变成连续的。（一些ops如expand/expand_as会让tensor 不连续） #

背景
#

torch.unsqueeze 返回一个新的张量，对输入的制定位置插入维度 1 注意：返回张量与输入张量共享内存，所以改变其中一个的内容会改变另一个。如果`dim`为负，则将会被转化dim+input.dim()+1
#

tensor.contiguous 将一个tensor变成连续的。（一些ops如expand/expand_as会让tensor 不连续）
#