什么是多模态图像配准准？

来源：蜘蛛抓取(WebSpider) 时间：2022-10-26 00:36 标签： 多模态图像配准

上一篇我们介绍了：，STN创造性地在CNN结构中装入了一个可学习的仿射变换，目的是增加CNN的旋转、平移、缩放、剪裁性。为什么要做这个很奇怪的结构呢？原因还是因为CNN不够鲁棒，比如把一张图片颠倒一下，可能就不认识了（这里mark一下，提高CNN的泛化能力，值得继续花很大力气，STN是一个思路，读者以及我自己应该多想想，还有什么方法？）。

Kernel放死了（比如3*3大小），但是可以通过图片变换让CNN效果更好；而deformable是说既然图片可能各种情况，那我索性CNN的Kernel本身是不规整的，比如可以有dilation，也可以旋转的，或者看起来完全没有规则的。如下图，（a）是常规的一个3*3卷积窗口，（b）蓝色点就是原来的卷积窗口加上了一个offset的情况，（c）表示可以对进行窗口进行scale和aspect ratio的变换，（d）表示旋转；


图1 可变性卷积示意图

先看传统卷积的一个定义：

再看图1，把原来的卷积过程分成两路，上面一路学习offset Δpn ，得到H*W*2N的输出（offset），N=|R|表示grid中像素个数，2N的意思是有x，y两个方向的offset。有了这个offset以后，对于原始卷积的每一个卷积窗口，都不再是原来规整的sliding window（图1中的绿框），而是经过平移后的window（蓝框），取到数据后计算过程和卷积一致。

就是这样简单吗？其实还相差一点，原因是 Δpn 不是整数像素，而是一个高精度的小数，不能直接获取像素坐标，而如果采用简单粗暴的取整又会有一定误差，因此就采用了和STN中一样的做法——双线性插值，插出每个点的像素值。公式上写成简洁的：

实际上做的就是找到小数的p所在的图像4像素grid，然后做双线性插值。上面公式这样写了以后可以和(参考上一篇)中做法一样，就通过BP端到端来训练了。

思路和前面一样，一路学习offset，一路得到真正的pooling结果。

区别在于用的是FC，原因是ROI pooling之后的结果是固定大小的k*k，直接用FC得到k *k个offset。但是这些offset不能直接用，因为ROI区域大小不一，并且input feature map的w和h也是大小不一。作者提出的方法是用一个scale r：

下面是roi pooling原来的公式（用的是average？这个比较奇怪，一般都是用max的，当然按照这个逻辑，max pooling也很容易推出）

有了offset之后就可以这样做：

和前面一样，因为offset是带小数的，不能直接得到像素，需要用双线性插值算法得到每一个像素值。注意，这里的offset只有k*k个，而不是每一个像素一个。

下面贴一些实验说明图，看起来有点道理，有点聚焦的意思:

这张图蛮难看懂的，论文也没有细讲，网上还没有详细分析的资料，我谈下我的理解，希望对读者有帮助，如果有不对的欢迎指正——做3*3卷积的时候，对任意一个像素（绿点）都会有9个offset，然后在三层带deformable的卷积中，就会通过叠乘效应产生9*9*9=729个offset坐标，然后画在图上。可以看到聚焦的目标周围。

图6是ROI pooling的结果，可以看到3*3个bin都偏向了目标周围，而避免了矩形框的backgroud影响，这个还是蛮有道理的。

结果看这个deformable的插件可以用在很多地方，效果也都还OK。

box得到offset，意思是一样的，就是input大小不一样罢了。为什么会偏移向目标呢，原因参与到训练中，这样的输入可以使得loss变小，因此offset就是往loss变小的方向偏移。这个思想在另外一个最新的工作Mask RCNN（作者He Kaiming）中得到了进一步优化，后面有机会总结目标检测算法的时候，再具体展开，有兴趣的读者可以去看看，我当是先抛砖引玉了。

打开网易新闻 查看精彩图片

首先点取mapgis菜单“其他-＞OLE拷贝”，接着打开word，点取“粘贴”。

使用空心字时，字体采用相应字体编号的负数。如：-3表示黑体空心字。

1、可以在屏幕上开一个窗口，系统就会将窗口内的所有区合并，合并后区的图形参数及属性与左键弹起时所在的区相同。
2、也可以先用菜单中的选择区功能将要合并的区拾取到，然后再使用合并区功能实现。
3、还可以先用光标单击一个区，然后按住 CTRL 键，在用光标单击相邻的区即可。

在Mapgis中的其它下面整图变换中比例参数的X比例中输入法-1或Y比例中输入-1后确定。

1．将CAD文件另存为DXF格式。
2．在MAPGIS主程序中选择“文件转换”。
3．输入中选择转入DXF文件，确定并复位
4．保存点线文件（面无法转化）

1．在MAPGIS主程序中选择“文件转换”。
2．分别装入点线文件，复位并全选。
3．输出中选择“部分图形方式输入DXF”全选并确定。
4． 打开保存的DXF文件，用CAD复位显示图形，并改字体样式。
5．保存成CAD格式。

7 如何把JPG格式的转成ＭＳＩ格式

图象处理----------图象分析模块。在里面点：文件--------数据输入--------转换数据类型（选JPG）---------添加文件---------转换转换后的格式为mapgis的msi影像文件！转换为ＭＳＩ文件格式后再在输入编辑里，导入后矢量化。

8 在电脑里如何做剖面图，不用手画，而且精度更高！

1、先把MAPGIS图生成JPG格式，在PHOTOSHOP中图像—图像大小—文挡大小中输入经过变化后的宽度和高度数字（根据剖面图的比例和JPG图的比例关系得出）；然后按需要裁剪，以减少图形的所占内存；
2、裁剪后旋转使剖面线处于水平位置；
3、在MAPGIS中插入裁剪旋转后光栅文件，新建线和点文件，以剖面线为水平的X轴，画垂直X轴的线为Y轴，以剖面线起点的位置为坐标原点，以剖面线起点的高程为起始Y轴刻度，在X和Y轴上标上相对应比例尺的刻度。
4、以图上等高线和X轴交点为垂足画垂直X轴的直线，以等高线的高程画垂直于Y轴的直线，上述两直线相交点就是我们要求剖面轮廓线的拐点，把这样一系列的点连起来就成了剖面图的轮廓线。
5、最后再整饰一下，就作成了剖面图。
其实也可以直接在MAPGIS中直接做，这样就省了用PHOTOSHOP这一步骤，但这样很容易破坏原文件。（如果是已成的矢量图，目前可以用些软件实现剖面自动生成了如Section等，注意剖面方向和比例尺等些因素，要是在平面上加个钻孔或其他地质内容，可以把剖面线和地质内容同时复制出来，再在其他里整图变换成剖面的比例，然后把剖面线和地质内容粘贴进去，并旋转使起点对齐，从地质内容（地质界线，探槽，浅井等）和剖面线交点处，向下投在已成剖面上即可。。。。）

“windows输出”是MAPGIS平台利用windows的GDI，在各种打印机，绘图仪上输出，输出设备必须安装好对应的windows输出驱动程序。由于在整个打印过程中MAPGIS没有做任何的处理，只是调用了windows的打印驱动来打印输出各种图件，所以如果这时出现打印问题，应该优先考虑是不是页面设置和硬件上出了问题。对于“windows输出”，由于受到输出设备的windows输出驱动程序及输出设备的内部缓存等因素的限制，在输出一些比较复杂的图形时，可能有的图元、线型或者颜色不能正确输出，并且部分数据的处理会比较慢，这种情况只有在“光栅输出”下才能解决。
MAPGIS光栅输出是为了解决复杂图形的输出以及部分绘图仪的设备内存限制等问题而设计的，它极大的提高了大幅面地图的输出速度。MAPGIS设计了一个针对地图处理的高速软件RIP，它先对图形进行分色光栅化，形成供打印机及彩色喷墨绘图仪输出用的分色光栅文件，然后再驱动彩色喷墨绘图仪进行输出。
PostScript输出，主要应用于地图的出版印刷中，所以普通客户用的很少。
问题：打印镜像，即打印一幅完整的图后，又连续出两张或三张纸，或是空纸，或只打印了图形的某个边等多种情况？
解答：该问题的实质是页面设置的大小和后面的纸张设置的太小不匹配造成的，也就是说纸张容不下要打印的幅面了，MAPGIS自动出现了分页的情况，比如在页面中设置幅面设置为A4，后面纸张尺寸设置时纸张类型又设置为A4，这样打印时一定会出现镜像问题。该问题的解决方法就是页面设置按照要求设定，而后面的纸张的设置则不要受此影响，纸张实际大小是多少就设置多少。
另外可能的原因还有“飞点”和“打印机内存不够或内存泄漏”等情况。若出现“飞点”，利用“输入编辑”模块中的“文件压缩存盘”功能去除飞点。若是“内存泄漏”等原因，最好将打印作业清除后，重新启动打印机。

MAPGIS中的数据是1：1的比例尺（即与实际地物等大），米的坐标单位.而按图幅输出时，实际地物是缩小了一个比例尺的倍数画到图纸上的，为了方便读取图纸坐标，图纸坐标的坐标单位一般是毫米，所以要得到真实坐标,必须乘以比例尺的倍数来得到1：1的比例尺，再除以1000将毫米转换为米。

11 MAPGIS投影坐标类型中，大致有五种坐标类型

欢迎 分享 / 点赞 / 留言

打开网易新闻 查看精彩图片

我要回帖

更多关于 多模态图像配准 的文章

 

随机推荐