The website uses cookies. By using this site, you agree to our use of cookies as described in the Privacy Policy.
I Agree

【深度学习中的神仙操作】einsum爱因斯坦求和

东南大学 电子与通信工程硕士在读

0. 爱因斯坦求和约定(Einstein Notation)

在数学中,爱因斯坦求和约定是一种标记法,也称为Einstein Summation Convention,在处理关于坐标的方程式时十分有效。简单来说,爱因斯坦求和就是简化掉求和式中的求和符号,即 [公式] ,这样就会使公式更加简洁,如

[公式]

Numpy是Python中的一个重要的科学计算库,支持大量的多维数组计算,并提供了大量的运算函数库。Numpy率先将爱因斯坦求和以扩展函数的方式引入(np.einsum),而多维数组的特性又非常符合深度学习中张量(Tensor)的特性,因此,基于Numpy,TensorFlow、PyTorch等深度学习框架也纷纷将einsum作为其拓展函数,与Numpy相比,tf和torch中参与运算的张量具有梯度,可以进行反向传播。


对于张量/矩阵运算,einsum几乎无所不能,以下以Numpy为例,来说明其典型用法,PyTorch和TensorFlow中的用法大同小异。

1. 转置

[公式]

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->ji', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: [[0 3 6]
 [1 4 7]
 [2 5 8]]

2. 全部元素求和

[公式]

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: 36

3. 某一维度求和

[公式]

import numpy as np
a = np.arange(0, 9).reshape(3, 3)
print(a)
b = np.einsum('ij->i', a)
print(b)

Output:
a: [[0 1 2]
 [3 4 5]
 [6 7 8]]
b: [ 3 12 21]

4. 矩阵对应维度相乘(广播形式)

[公式]

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 4).reshape(4)
print(b)
c = np.einsum('ij,j->ij', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [0 1 2 3]
c: [[ 0  1  4  9]
 [ 0  5 12 21]
 [ 0  9 20 33]]

5. 矩阵对应维度相乘(求和形式)

[公式]

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 4).reshape(4)
print(b)
c = np.einsum('ij,j->i', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [0 1 2 3]
c: [14 38 62]

6. 矩阵点积

[公式]

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 12).reshape(3, 4)
print(b)
c = np.einsum('ij,ij->', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
c: 506

7. 矩阵外积(相乘)

[公式]

import numpy as np
a = np.arange(0, 12).reshape(3, 4)
print(a)
b = np.arange(0, 12).reshape(4, 3)
print(b)
c = np.einsum('ik,kj->ij', a, b)
print(c)

Output:
a: [[ 0  1  2  3]
 [ 4  5  6  7]
 [ 8  9 10 11]]
b: [[ 0  1  2]
 [ 3  4  5]
 [ 6  7  8]
 [ 9 10 11]]
c: [[ 42  48  54]
 [114 136 158]
 [186 224 262]]

8. Tensor实例中的应用(PyTorch)

情境如下:

有两个tensor A和B,size都是[16, 8, 5, 128, 128],想将两者的第2个维度,即size为5的维度,分别reshape为5x1和1x5的两个向量,然后计算外积,得到一个5x5的kernel。但是,在张量中进行这样的运算,同时保持其他维度不受影响,是比较困难的,而einsum可以完美就觉这种情况。

首先,A可以view成一个size为[18, 8, 5, 1, 128, 128]的tensor, 同理,B可以view为size为[16, 8, 1, 5, 128, 128]的tensor,此时,结果为可以表示为

[公式]

这是一个复杂版的乘法,相对应的PyTorch代码如下:

import torch
A = torch.randn(16, 8, 5, 128, 128)
B = torch.randn(16, 8, 5, 128, 128)
print('A:', A.size())
print('B:', B.size())
A = A.unsqueeze(3)
B = B.unsqueeze(2)
print('Viewed A:', A.size())
print('Viewed B:', B.size())
C = torch.einsum('ijklno,ijlmno->ijkmno', [A, B])
print('C:', C.size())

Output:
A: torch.Size([16, 8, 5, 128, 128])
B: torch.Size([16, 8, 5, 128, 128])
Viewed A: torch.Size([16, 8, 5, 1, 128, 128])
Viewed B: torch.Size([16, 8, 1, 5, 128, 128])
C: torch.Size([16, 8, 5, 5, 128, 128])

欢迎关注知乎专栏【深度图像与视频增强】,一起交流、探讨计算机视觉中的一些问题。

Measure
Measure
Summary | 1 Annotation
在处理关于坐标的方程式时十分有效
2021/02/03 03:22