My Weekly Reading Progress Report

一个block有多少个thread
Db用于定义一个block的维度和尺寸
grid有多少个block
整个grid的维度和尺寸
线程是如何组织的
说明内核函数中的线程数量
运算符内是核函数的执行参数，告诉编译器运行时如何启动核函数

CUDA核函数参数示意：Kernel<<<Dg,Db, Ns, S>>>(param list) - 青竹居士 - 博客园

7 annotations

www.cnblogs.com

261

不同 block 中的 thread 无法存取同一个共享的内存，因此无法直接互通或进行同步

CUDA编程（一）第一个CUDA程序_MingChao_Sun-CSDN博客_cuda编程

1 annotation

blog.csdn.net

134

运行到某块数据发现不在设备端时，再去主机端中将数据拷贝过来，当执行完核函数后，又将所有的内存拷贝回主存。
用CUDA默认的统一内存管理机制
grid中block的个数可以由总次数N除以blockDim，并向上取整
于当前硬件的设计，block大小不能超过1024
block运行在SM上，不同硬件架构（Turing、Volta、Pascal...）的CUDA核心数不同，一般需要根据当前硬件来设置block的大小blockDim（执行配置中第二个参数）
当线程数与计算次数不一致时，一定要使用这样的判断语句，以保证某个线程的计算不会影响其他线程的数据。
一般将CPU代码中互相不依赖的的for循环适当替换成CUDA代码。
所以这样互相不依赖的for循环非常适合放到CUDA thread里做并行计算
thread运行在一个CUDA核心上，多个thread组成的block运行在Streaming Multiprocessor
核函数所定义的运算称为线程（Thread）
CPU不会等待GPU函数执行完毕才执行下一行代码。必要时，需要调用cuda.synchronize()，告知CPU等待GPU执行完核函数后，再进行CPU端后续计算。这个过程被称为同步
GPU函数又被称为核函数
在GPU设备上运行的函数

GPU加速02:超详细Python Cuda零基础入门教程，没有显卡也能学！ - 知乎

13 annotations

zhuanlan.zhihu.com

多个小核心一起组成了一个SM。
以SM为运算和调度的基本单元
多个小核心组成一个Streaming Multiprocessor（SM）

GPU计算加速01 : AI时代人人都应该了解的GPU知识 - 知乎

3 annotations

zhuanlan.zhihu.com

118

告知该操作放入哪个流中执行：
非默认流之间是异步的，默认流有阻塞作用
非默认流之间的不同操作，无法保证其执行顺序。
会按序执行
默认情况下，CUDA使用0号流，又称默认流。不使用多流时，所有任务都在默认流中顺序执行，效率较低。
将数据拷贝和函数计算重叠起来的，形成流水线，能获得非常大的性能提升。
放入队列顺序执行的一系列操作称为流（Stream）
所有的计算任务需要放在一个队列中，排队顺序执行
非常方便验证CUDA并行计算与原来的CPU函数计算逻辑是否一致
线程内有for循环，每个线程可以干更多事情，所有线程的启动销毁开销更少。
解决数据量比线程数大的问题
不用再明确使用if (idx < N)来判断是否越界，因为for循环也有这个判断
网格跨步
step是网格中线程总数
跨步大小为网格中线程总数
在核函数里再写个for循环
0号线程中，处理第0、8、16、24号数据
gridDim最大为一个32位整数的最大值
英伟达提供了非常强大的性能分析器nvprof和可视化版nvvp，使用性能分析器能监控到当前程序的瓶颈
读英伟达官方的编程手册，熟悉CUDA编程的底层知识。
常用性能优化的进阶技术

GPU加速03:多流和共享内存—让你的CUDA程序如虎添翼的优化技术！ - 知乎

21 annotations

zhuanlan.zhihu.com

121

新的 cuda 来编译文件，还可以通过 LD_LIBRARY_PATH 变量指定进行链接的 cuda 库文件的路径
加入指定 cuda 版本的可执行目录，也就时 cuda_path/bin/ 目录
之后
则首先需要设置 CUDA_HOME 环境变量
首先尝试获取环境变量 CUDA_HOME/CUDA_PATH 的值作为运行时使用的 cuda 目录
存在与当前的 cudatoolkit 所兼容的 Nvidia 驱动
不需要重新进行编译过程，只需要其所依赖的动态链接库存在即可正常运行
包含了进行 CUDA 相关程序开发的编译、调试等过程相关的所有组件

Pytorch 使用不同版本的 cuda - yhjoker - 博客园

8 annotations

www.cnblogs.com

506

【CSDN社区内容创作规范】

CSDN社区内容创作规范_CSDN 官方博客-CSDN博客

1 annotation

blog.csdn.net

424

可以将Python代码转换为并行计算模式的包

Python中的joblib.Parallel函数_Flag_ing的博客-CSDN博客

1 annotation

blog.csdn.net

591

net.parameters() i

Pytorch统计网络参数数量及查看网络中的参数_陈知鱼的博客-CSDN博客

1 annotation

blog.csdn.net

351

原地改变对象而不用生成新对象的方法
列表类型是一种可变类型
你这个对象保存的数字就是不能再变化的了
一种不可变类型

(9 条消息) python中的赋值，什么时候是传值什么时候是传址？ - 知乎

4 annotations

www.zhihu.com

560

deepcopy 方法会新建对象，里面的可变对象也会新建对象。实际上deepcopy是递归copy，是深层复制。
是浅层复制
引用的是不同的对象，但里面的可变对象（列表 y）依然引用的是同一个对象
复制可变对象时，就复制了可变对象的引用
可变对象的引用，就能修改对象的原始值——相当于通过“传引用”来传递对象。如果函数收到的是一个不可变对象的引用，就不能直接修改原始对象——相当于通过“传值'来传递对象
传对象引用”的方式

Python可变对象与不可变对象原理解析_python_脚本之家

6 annotations

www.jb51.net

553

象包含整型(int), 字符串(string), 浮点型(float), 元组(tuple)
可变对象包括：字典(dict), 集合(set), 列表(list). 此可变对象会与浅拷贝和深拷贝有很大的联系，后续会继续更新。

Python3之可变对象和不可变对象 - 简书

2 annotations

www.jianshu.com

640

memory_allocated()和max_memory_allocated()监视张量占用的内存，并使用memory_cached()和 max_memory_cached()监视由缓存分配器管理的内存

pytorc使用后正确释放GPU内存以及检测GPU使用情况 - pytorch中文网

1 annotation

ptorch.com

645

allocated memory is the memory that is currently used to store Tensors on the GPU

Memory_allocated() vs memory_cached() - PyTorch Forums

1 annotation

discuss.pytorch.org

609

禁用所有cuda应用程序异步执行

cuda学习笔记之异步并行执行_bit262426738的专栏-CSDN博客

1 annotation

blog.csdn.net

554

性只是为了调试，永远不能作为使软件产品运行得可靠的方式
CUDA_LAUNCH_BLOCKING环境变量设置为1来全局禁用所有运行在系统上的应用的异步内核发射

CUDA编程接口:异步并发执行的概念和API - zhaoyang10 - 博客园

2 annotations

www.cnblogs.com

511

the occupied GPU memory by tensors will not be freed so it can not increase the amount of GPU memory available for PyTorch
the total amount of memory managed by the caching allocator
memory occupied by tensors
the unused memory managed by the allocator will still show as if used in nvidia-smi
caching memory allocator to speed up memory allocations
With asynchronous execution, such an error isn’t reported until after the operation is actually executed, so the stack trace does not show where it was requested
This can be handy when an error occurs on the GPU.
CUDA_LAUNCH_BLOCKING=1

CUDA semantics — PyTorch 1.7.0 documentation

8 annotations

pytorch.org

513

将识别它可以编译的循环，并将它们编译成在机器代码中运行的函数，并且它将运行解释器中的其余代码
对象模式进行编译
如果nopython模式下的编译失败
将@jit设置为nopython模式。nopython编译模式的行为本质上是编译装饰函数，以便它完全运行而不需要Python解释器的参与。这是使用Numba jit装饰器的推荐和最佳实践方式，因为它可以带来最
Numba适合numpy中的循环操作、numpy函数以及broadcasting。
numpy做数字运算，并且常常有很多的循环，那么使用Numba就是一个很好的选择
编译为机器代码即时执行
其使用Numpy的arrays，functions和loops

Numba 开发手册（一） - 阿刚的代码进阶之旅 - 博客园

8 annotations

www.cnblogs.com

589

执行函数的机器代码版本之前针对给定的参数类型编译函数
numba无法理解pandas，因此numba只需通过解释器运行此代码，但会增加numba内部开销！

Numba(1) —— 加速你的Python - 知乎

2 annotations

zhuanlan.zhihu.com

600

Converting a point cloud into a valid input for a convolutional neural network

Structures — pyntcloud 0.1.3 documentation

1 annotation

pyntcloud.readthedocs.io

542

Identification string associated with the added structure

pyntcloud.core_class — pyntcloud 0.1.3 documentation

1 annotation

pyntcloud.readthedocs.io

515

to change it for a new pandas DataFrame

Points — pyntcloud 0.1.3 documentation

1 annotation

pyntcloud.readthedocs.io

479

that means that you have a python variable (either torch Tensor or torch Variable) that reference it

How can we release GPU memory cache? - PyTorch Forums

1 annotation

discuss.pytorch.org

658

the parity of the spherical harmonics

o3 - Direct sums of Irreps — e3nn 0.2.1 documentation

1 annotation

docs.e3nn.org

595

前者每次optim.step会得到更新，而不会更新后者
另一种就是buffer
一种是模型中各种module含的参数

pytorch 中register_buffer（）_shuijinghua的博客-CSDN博客

3 annotations

blog.csdn.net

592

elementwise the cross-product of 16 vectors with 16 vectors
indices of the multiplicites
Fully-connected weighted tensor product

o3 - Tensor Product — e3nn 0.2.1 documentation

3 annotations

docs.e3nn.org

648

三维旋转群才是三维的流形
球在三维空间的旋转跟三维旋转群SO(3)同构而并非跟球面S^2群同构

spherical CNNs 论文解读（三） - 知乎

2 annotations

zhuanlan.zhihu.com

672

得到的结果须跟原图原卷积核处理得到的结果一样，也就是等变性
度量空间之间保持距离关系的同构
如果两个群满足双射的条件，也即存在一个变换，可以让两个群的元素一一对应，那么就称这两个群是同构的
操作对应将图像旋转、翻转等一系列满足某些限制条件的对称性变换的集合
对象在这里对应要进行识别的图像或者卷积核
群论里重要的两个概念，一个是对象，一个是操作

spherical CNNs 论文解读 - 知乎

6 annotations

zhuanlan.zhihu.com

593

s purely determined by by the stride of the convolutions and the pooling,

How to decide the bandwidth? · Issue #22 · jonas-koehler/s2cnn

1 annotation

github.com

554

training code fo

GitHub - CMU-Perceptual-Computing-Lab/openpose_train: Training repository for OpenPose

1 annotation

github.com

604

先把可迭代对象转换成迭代器

(7 条消息) 请问这个 Python 迭代器里 next () 定义怎么理解？ - 知乎

1 annotation

www.zhihu.com

457

yield其实就相当于一个断点，每次程序执行到一个yield，就将其后的值当做生成器的一个元素
变成了一个生成器
不再是一个普通函数
一边循环一遍计算的机制，就是生成器
如果列表中的元素能够以某种方法推导出来，我们就可以根据程序的需要对列表元素进行生成，进而节省大量存储空间
如果程序一开始就创建该列表的话，无疑要浪费大量存储空间

对Python中Yield的理解 - 知乎

6 annotations

zhuanlan.zhihu.com

473

在处理关于坐标的方程式时十分有效

【深度学习中的神仙操作】einsum爱因斯坦求和 - 知乎

1 annotation

zhuanlan.zhihu.com

459

An important limitation of the versions of the NVIDIA CUDA Toolkit that are available from the either the default or NVIDIA Conda channels is that they do not include the NVIDIA CUDA Compiler (NVCC).
what do you do if you need different versions of these new libraries for different projects

Managing CUDA dependencies with Conda | by David R. Pugh | Towards Data Science

2 annotations

towardsdatascience.com

478

Where a library or tools is not already packaged for install using conda, Conda allows for using other package management tools (such as pip) inside Conda environments.
prebuilt packages or binaries (which generally avoids the need to deal with compiling packages from source)
Installing only Miniconda will encourage you to create separate environments for each project
helps you find and install packages
source package and environment management system

Getting Started with Conda. Just the basics. What is Conda? Why… | by David R. Pugh | Towards Data Science

5 annotations

towardsdatascience.com

467

create the environment as a sub-directory called env inside your project directory

Managing your data science project environments with Conda | Towards Data Science

1 annotation

towardsdatascience.com

446

use the NVCC installed on the system together with the other CUDA Toolkit components installed inside the Conda environment
obtain NVCC and still use Conda to manage all the other dependencies
install a meta-package nvcc_linux-64 from conda-forge
does not include NVCC

Building a Conda environment for Horovod | by David R. Pugh | Towards Data Science

4 annotations

towardsdatascience.com

528

defines the namespace for tf.Operation objects
ensorFlow provides a "default graph" that is implicitly passed to all API functions in the same context.
use multiple graphs in the same process.
can either use completely separate Python processes to build and execute the graphs,
dropout and batch normalization use different operations in each case.
a separate graph for evaluating or performing inference with a trained model.
, a common way of organizing your code is to use one graph for training your model,
typical TensorFlow graph---especially training graphs with automatically computed gradients---has too many nodes to visualize at once. The graph visualizer makes use of name scopes to group related operations into "super" nodes.
Print the timings of each operation that executed
collect metadata about the execution
enables you to specify options about the call
be substituted for those tensors in the execution.
takes a dictionary of feeds, which is a mapping from tf.Tensor objects (typically tf.placeholder tensors) to values
requires you to specify a list of fetches
controls the behavior of the session
tf.estimator.Estimator will create and manage a tf.Session for you
Since a tf.Session owns physical resources (such as GPUs and network connections), it is typically used as a context manager (in a with block)
caches information about your tf.Graph
represent a connection between the client program
nodes and edges of the graph
it is easy for the system to identify operations that can execute in parallel
nodes represent units of computation, and the edges represent the data consumed or produced by a computation.

docs/graphs.md at master · tensorflow/docs

22 annotations

github.com

490

把so(3)中任意一个向量对应到了一个位于SO(3)中的旋转矩阵
指数映射即罗德里格斯公式
so(3)实际上就是由旋转向量组成的空间
指数映射
指数与对数关系
李代数就是李群对应的代数关系式
李群就是连续（光滑）的群
只有一种运算的集合叫做群
这样的矩阵称为群
即加之后不再符合旋转矩阵的定义，但是乘法却满足
不符合加法封闭性

三维卷积：全景图像Spherical CNNs（Code）_wishchinYang的专栏-CSDN博客

11 annotations

blog.csdn.net

570

要带上所有必要的参数进行调用。然后，有时参数可以在函数被调用之前提前获知

python的functools.partial用法解释_每天积累一点，一年后你会发现，自己变化很大-CSDN博客

1 annotation

blog.csdn.net

512

PR曲线下面积

(1 封私信 / 5 条消息) 目标检测中的mAP是什么含义？ - 知乎

1 annotation

www.zhihu.com

504

依据预测的变换参数来构建一个采样网格
输出空间变换参数
变换参数θθ的网络
来回归
主动地在空间上转换特征映射
显式地允许在网络中对数据进行空间变换操作
新的可学模块，空间变换网络
受限于对输入数据的空间不变性
异常强大的模型类

STN：空间变换网络(Spatial Transformer Network) - 程序员大本营

9 annotations

www.pianshen.com

520

一种简单的代数结构

群论入门-群论的直观理解方式 - 知乎

1 annotation

zhuanlan.zhihu.com

451

有限群中的元素看作是某个有限维线性空间上的（可逆）线性变换

代数学笔记——有限群的表示论（一） - 知乎

1 annotation

zhuanlan.zhihu.com

398

代表角度部分的解，也就是球谐函数
球谐函数表达为
即可以解出
可以解出
关于 t {\displaystyle t} 的伴随勒让德方程

球谐函数 - 维基百科，自由的百科全书

5 annotations

zh.wikipedia.org

609

叫做投影(Projection)
球坐标中求解三维拉普拉斯方程
勒让德多项式(Legendre Polynomial)，我们要基于勒让德多项式来给出球谐基函数的解析形式
球谐基函数吧

球谐光照与PRT学习笔记（三）：球谐函数 - 知乎

4 annotations

zhuanlan.zhihu.com

606

这系数就是表面法线和入射光向量的点积

球谐光照与PRT学习笔记（一）：引入 - 知乎

1 annotation

zhuanlan.zhihu.com

672

深层网络对中心位置的学习偏见，就可以根据需要利用任何结构的网络以进行视觉跟踪
使用三种目标位置按照不同均匀分布的数据集进行训练

如何理解SiamRPN++？ - 科西嘉人 - 博客园

2 annotations

www.cnblogs.com

410

此时每对模板图像和搜索图像中心就是物体的bounding box中心
添加边界的部分超出了原图的大小（一般出现在bounding box靠近图像边界的情况），则使用像素的均值代替
加上了周围的一些边界信息，上下左右各加上p个像素信息。其中
模板图像需要缩放到127x127大小，搜素图像需要缩放到255x255大小
两个输入输入到两个神经网络（Network1 and Network2，其实是共享权重的，本质上是同一个网络

【SOT】siameseFC论文和代码解析 - 知乎

5 annotations

zhuanlan.zhihu.com

422

Depthwise Cross Correlation采用的就是分组卷积的思想，分组卷积可以带来运算量的大幅度降低，被广泛用于MobileNet系列网络中
Depth-wise Cross Correlation Layer对Template和Search Region进行卷积运算。这么做是为了降低计算量
对Template升高维度后在与Search Region进行卷积运算，
特征提取网络输出的三个特征图分别做1x1卷积，调整所有特征图的通道数为256
是这三个输出分别都有各自的RPN网络
Layerwise Aggregation陌生。一般而言，浅层的网络包含的信息更多有关于物体的颜色、条纹等，深层的网络包含的信息更多包含物体的语义特征。
不论在测试的时候，target在图片的哪个位置，甚至外观特征有多明显，都会在图片的中心产生一个这样大的偏移，这和在训练过程中采用的方式有关

【SOT】Siamese RPN++ 论文和代码解析 - 知乎

7 annotations

zhuanlan.zhihu.com

448

CF作为CNN的一个特别的层。
CF只用到了预训练CNN特征的顶层（top）
离线阶段的特征判别能力结合在一起就好了。在之前的工作中，CF与CNN是分开的

论文笔记-End-to-end representation learning for Correlation Filter based tracking - 简书

3 annotations

www.jianshu.com

635

这就是我们在机器人状态估计中最常见的公式，无论是贝叶斯估计还是卡尔曼滤波都是这个公式。现在我已经将它推导的细节进行了还原。
状态估计中的假设
传感器数据和控制器数据估计出离某个障碍物的距离是 x t x_t xt
它观测到自己离障碍物距离是 z t z_t zt
这个是观测模型
这个是控制模型
比如我们设计一种函数 f ( x t , z t ) f(x_t,z_t) f(xt,zt)它的值就是 P ( z t ∣ x t ) P(z_t|x_t) P(zt∣xt)。这个就是卡尔曼滤波要做的事，卡尔曼滤波设计的函数就是认为这个概率函数是一个正态分布（高斯分布）
怎么知道当前估计出机器人离障碍物距离 x t x_t xt是不是正确的呢？
机器人离障碍物距离，机器人的速度，机器人的姿态，机器人在世界坐标系下的地址这些都是机器人的状态
这个公式中需要的先验知识更容易获
这些数据是我们统计到的，你项目中的这些先验知识有些是需要统计得到，有些是需要建模比如假设它是正态分布等
方法是根据概率论中的条件概率计算公式来更新的
根据不断接收到的新信息和我提供的一些已经知道的统计值，来不断更新概率

(2条消息) 【易懂教程】我是如何十分钟理解与推导贝叶斯滤波(Bayes Filter)算法？_@司南牧|知乎|博客|易懂教程|李韬-CSDN博客_贝叶斯滤波

13 annotations

blog.csdn.net

593

用GPS测量的位置
弹位置的最优估计的概率分布
可信度做权重进行加权和得到均值。当然加权和的权重之和应该等于1
直接把这两个概率分布相乘即可
怎么根据粗略估计值的概率分布与雷达的测量值概率分布得到精确估计值的概率分布。
概率分布得到精确估计值的概率分布
可信度来进行线性加权和得到准确的导弹位置估计值
估计出当前时刻导弹的位置粗略估计值
0.7就是获取速度的那个传感器噪声误差
0.2就是上个时刻导弹位置的误差
都是正态分布
雷达测量到导弹离目标的距离概率分布
t-1时刻的速度的概率分布
表示导弹在t-1时刻的位置的概率分布
导弹速度、导弹位置、雷达测距的测量值这些都服从正态分布
用概率来衡量数据的可信度
都是有误差的
这两种数据可信度来进行线性加权和得到准确的导弹位置估计值
雷达数据相对于根据速度计算出的估计值的靠谱程度
卡尔曼增益
测值和估计值的准确度来得到最终导弹离目标的距离估计值。
估计值
观测值
每隔一秒开雷达测量下离目标的距离。然后由于雷达有误差，所以需要融合自己上个时刻的位置、速度等信息来更准确的确定当前时刻离目标的距离。这就是卡尔曼滤波需要解决的事

[易懂]如何理解那个把嫦娥送上天的卡尔曼滤波算法Kalman filter? - 知乎

24 annotations

zhuanlan.zhihu.com

543

卡尔曼假设上文中的机器人一定是匀速直线运动
卡尔曼滤波算法就是对贝叶斯滤波算法的一个具体实现
贝叶斯滤波并没有告诉我们怎么计算观测值与估计值的可信度
卡尔曼滤波算法是对贝叶斯滤波的一种具体实现

(2 条消息) 如何通俗并尽可能详细地解释卡尔曼滤波？ - 知乎

4 annotations

www.zhihu.com

539

猜自己的位置
机器人是知道地图

(2 条消息) 怎样从实际场景上理解粒子滤波（Particle Filter）？ - 知乎

2 annotations

www.zhihu.com

574

Python 语言内置了多线程功能支持，而不是单纯地作为底层操作系统的调度方式
进程之间不能共享内存，但线程之间共享内存非常容易
多线程程序的并发性高

python多线程详解 - luyuze95 - 博客园

3 annotations

www.cnblogs.com

596

reinitializable iterator is defined by its structure
use different Dataset objects that have the same structure
can be initialized from multiple different Dataset objects
parameterize the definition of the dataset, using one or more tf.placeholder() tensors that can be fed when you initialize the iterator
initializable iterator requires you to run an explicit iterator.initializer operation before using it.
one-shot iterator is the simplest form of iterator
with no need for explicit initialization.
apply a function to each element, the element structure determines the arguments of the function
a single element
dictionary
convenient to give names to each component of an element
element contains one or more tf.Tensor objects, called components
comprises elements that each have the same structure.
ransform it into a new Dataset by chaining method calls on the tf.data.Dataset object
associated with a particular Dataset and iterates through it once.
next element of a Dataset when executed, and typically acts as the interface between input pipeline code and your model
main way to extract elements from a dataset
constructs a dataset from one or more tf.Tensor objects
a sequence of elements,

docs/datasets.md at master · tensorflow/docs

19 annotations

github.com

533

池化的作用在于对特征图进行下采样进而减少变量
p4群包含的操作有平移和关于正方形网格中的任意旋转中心旋转90°

spherical CNNs 论文解读（二）--对Group Equivariant Convolutional Networks进行分析 - 知乎

2 annotations

zhuanlan.zhihu.com

633

构造或者不动点的方法证明它一定存在一个(非负)的平移不变的random measure，我们一般管它叫Haar measure

群论在数学分析中的应用？ - 知乎

1 annotation

www.zhihu.com

667

当前的模块。如果模块定义了一个名为 x 的变量，函数或类，Python 将使用它
当前函数或类的方法

python的globals()使用 - 脚本小娃子 - 博客园

2 annotations

www.cnblogs.com

508

A reduced bandwidth of the signal is thereby counteracted by an increased max_beta to emulate spatial pooling
One can emulate a pooling by a factor of 2 in spherical CNNs by decreasing the signal bandwidth by 2 and increasing max_beta by 2.
line-like (or ring-like) kernels around the equator.
spatially localized kernels, defined at the north pole and rotated over the sphere via the action of SO(3).
number of learned parameters of the rings around the pole
one central pixel and one ring around the center.
small 3x3 kernel in conv2d

jonas-koehler/s2cnn: Spherical CNNs

7 annotations

github.com

609