Medical Image Segmentation Review:

The Success of U-Net

image-20240124174158820

Unet 框架应用于医学图像挑战的数量变化

Unet变体的类别如下

  1. 增强跳跃连接
  2. 增强骨干网络
  3. 增强瓶颈结构
  4. 使用transformer
  5. 增强表示信息
  6. 概率设计

image-20240124180410455

跳跃连接变形

增加跳跃连接数目——Unet++/Unet3+

image-20240124191341261

跳跃连接方向可以有两种，一种是向前传播，将编码器的低级语义特征与解码器结合，另一种是向后跳跃连接，将解码器的高级语义特征传给同等级的编码器，编码器可以将它与输入信息的特征结合

image-20240124192045009

在跳跃连接处处理特征图（RA-Unet/attention Unet）

在跳跃连接处增加注意门，以隐式学习抑制输入图像中的不相关区域，同时突出显示当前分割任务感兴趣的区域。

image-20240124193546987

将RNN 添加到Unet 的跳跃连接上

原始的Unet 结构的最大池化操作会带来空间相对信息的丢失，RNN 通过学习多尺度和远程空间上下文来改善分割结果。通过跳过连接的最终特征映射是原始编码器特征映射和从这些映射中提取的RNN特征的组合。RNN模块的一个限制是，它们使训练更加困难，计算成本更高。为了弥补这一点，Li等人增加了深度监督

image-20240124194541188

结合编码器和解码器特征映射的组合

image-20240124194726219

主干网络设计

ResNet

多分辨率模块（MultiResUnet\densenet）

在相同的输入上并行使用不同核大小的卷积层，并且将不同尺度的感知传递到网络深处之前将其结合在一起

image-20240124200047292

重新考虑卷积

image-20240124200232718

减少计算量

RNN结构（RU-Net）

image-20240124200513178

瓶颈结构设计

Unet 结构可以分为三个主要的部分：编码器（收缩路径）、解码器（扩展路径）和位于编码器和解码器之间的瓶颈。 瓶颈用来被迫模型学习输入数据的压缩表示，该表示应该只含在解码器中恢复输入所需的重要和有用的信息。

最初的Unet 中,瓶颈由两个具有ReLu 激活的3×3 卷积层组成。

在瓶颈处应用注意力模块（MA-Net\SA-UNet）

image-20240124201433044

多尺度表示（COPLE-Net ）

image-20240124201705646

Transformer

（TransUnet/GT U-Net/MT-UNet/ScaleFormer ） transformer 与CNN相结合

卷积神经网络的性能体现在多尺度表示和捕获局部语义和纹理信息的能力上，但是CNN的局部表示可能不够鲁棒，无法捕获医疗数据中存在的几何和结构信息,需要一种机制来捕获像素间的长关系

image-20240124202802305

image-20240124203815775

只用transformer