A Sense of Direction in Biomedical Neural Networks

摘要

1. 本文描述了一种使模型不仅知道强度，还知道特征方向和尺度等特性的方法。
2. 当分析包含诸如血管或纤维之类的曲线结构的图像时，这种性质可能是重要的。
3. 本文提出了广义多角度尺度卷积（G-MASC），其核是任意可旋转的，也是完全可微的。
4. 该模型以集合的形式管理其方向检测器，并通过一种名为PoRE的新型旋转惩罚来监督集合的旋转对称性。
5. 该算法适用于金字塔表示，以实现比例搜索。可以从输出地图中提取方向和比例，分别进行编码和分析。

代码地址

本文方法

G-MASC是在具有方向性和规模意识的情况下开发的。该模型使用一种称为相位偏移旋转误差（PoRE）的监督功能来管理旋转一致性。引入了一个称为索引图特征化（IMF）的附加模块，用于分析生成的属性标签

Rotation Mechanism

Directional Kernels
为上图f，多个c方向核集合可以并行排列。每个G-MASC层具有c个输入通道和c个输出通道。每个集合包含n个方向内核（包括作为特殊方向的反射）。c和n是超参数，n必须是8的倍数。对于一个n核集合，有1/8n个基本核，其他7/8n个是由旋转和反射创建的虚拟核。我们将一个基本内核及其变体称为内核组，并且一个集合包含1/8n个组。

Calibrated Response Shaping
可以被解释为具有特殊键的多头自我注意。定向内核对输入进行编码，以获得响应的查询消息v

Phase-Offset Rotational Error (PoRE)
建议为旋转提供额外的正则化和监督。PoRE的思想类似于局部线性嵌入；通过保持局部关系来保留全局内核分布。

Orientation and Scale Embedding
对于人类来说，模式定向和强度对决策至关重要。正如视觉转换器具有位置编码一样

实验结果