Residual Networks for Light Field Image Super-Resolution

这篇是CVPR19的做光场超分辨率的文章，是光场空间超分辨率这三四年以来第一次出现在顶会正会里面。其特点是恢复的accuracy很高，PSNR相比于SOTA高很多。

网络结构

文章的网络结构没什么特别有新意的地方，跟EPINet是几乎一样的结构：

可以看出来，同样是multi-stream的结构，只不过加上了central view的分值提供residual的相加项而已，其实本质上是SR方法常用的技巧——把想要SR的view再以更shallow的方式加回去（数据处理不等式）。

迁移到整个光场的SR

从上文可以看出，这种网络结构是和我们的CSVT一样，一次只能做一个view，文章提出使用一种灵活的策略来对整个光场做SR，其实主要就是针对不同角度位置来训练不同的网络，利用不同的view间信息：

以$7\times 7$的view为例，对central view，就用$7\times 7$的策略，对边上的view，根据其位置采用不同的策略，最后构成整个LF的恢复策略，如图中(e)所示。神奇的是，这种方式即使拿四个view，效果也很好（图中展示的是mona数据集的结果）。

结果

合成数据集

合成数据集的实验当然是HCI数据集了，其实验结果有一些可圈可点的地方，第一，除了它自己的结果，其他实验结果全是从LFNet的文章里面抄来的，第二，LFNet的文章里，bicubic的结果是不对的，但是我复现它的结果发现LFNet本身的结果确实就是那个数值。以下是合成数据集上的实验结果：

真实数据集

文章的一个特点是实验做得比较完全，虽然网络结构确实没什么新意，从下表可以看出，实验结果确实很好，至于在现有的一些更好的SR方法里面是什么样的，也很难讲，例如TIP18的SAS和4D CNN，而且GB的效果在真实数据集里面这么好其实很让人惊讶，因为GB是基于matching的，真实数据集的暗角效应很影响matching，所以其实我是有点小疑问的，不过除了Lytro那个数据集，其他的要么我没有做实验，要么它的测试集划分我不晓得，所以也不好讲，毕竟GB有些时候效果也不错。

小结

总而言之，这篇文章的网络结构，在利用光场多维数据上，想法是和EPINet一样的，那么idea上的问题也比较明显，没有用到所有的view，但是应该是把用到的view之间的关系用好了，所以效果很好。这说明光场SR的空间还是很大的，如果能够有一些方法把光场4D的信息很好地用上，相信效果会很好。