When I'm reading some paper
When I'm reading some paper

Joint Learning from Earth Observation and OpenStreetMap Data to Get Faster Better Semantic Maps [pdf]

启发了winning solution的一篇文章。用OpenStreetMap的数据一起学。考虑到OSM图会比较粗糙(看起来方方正正的),但是相对来说干扰也没有那么多,也许可以成为和替代dem的方法?

但是OSM的处理和具体怎么结合会是比较困难的部分,并且这个数据集的winning solution就是用了这个增强。

SpaceNet Challenge 2 的 wining solution,集成了U-Net,并用了open street map。个人感觉在这个challenge上跑出了非常漂亮的分数,不过用了比较多的trick(包括用osm强化,包括集成不止一个U-Net),目前的问题是面对Shanghai和Khartoum的成片密集小房子容易连成一个大房子(见Figure 4)。

仔细看一下的话这个方法的本质在于加channel,winner除了8-band之外还利用了5个osm层,每个pixel会有13个channel,并且osm层会提供大量信息——water区域不太会有building,农业用地不太会有building之类的。这些channel确实能够很好的帮助模型进行判断,根据osm的信息感觉上确实会比较容易得到更加robust的feature。

Learning to Adapt Structured Output Space for Semantic Segmentation [pdf] [code]

CVPR 2018论文,用多层adversarial network对不同feature level的ouput space做domain adaptation,感觉上有点像reading group分享论文的loss减少版,但是对很多层都有做DA。在mIoU基本都是最高,但是部分上来看并不一定最好。考虑到我们面对的只有判断是否是building,相当于我们只看其中一类的IoU,这种方法感觉可能不太行(感觉上还是有点暴力)。

Context-Reinforced Semantic Segmentation [pdf] [code]

CVPR 2019论文,将context learning化为MDP来做,分成了Segment Net和Context Net两个sub-network(见Figure 2),用contex map来辅助segment net生成预测结果,再用生成的结果调整context net。

Object-Contextual Representations for Semantic Segmentation [pdf] [code]

在很多数据集上都有非常高的分数。大致思路是加context来帮助预测,模型感觉不是很好搭还在看。