适用于任何分辨率特征的模型无关框架
资料来自：@_akhaliq
深层特征是计算机视觉研究的基石，它捕获图像语义并使社区即使在零样本或少样本情况下也能够解决下游任务。
然而，这些功能通常缺乏空间分辨率来直接执行分割和深度预测等密集预测任务，因为模型会积极地池化大区域的信息。
在这项工作中，引入了 FeatUp，一个与任务和模型无关的框架，用于恢复丢失的空间
深层特征中的信息。引入了 FeatUp 的两种变体：
一种在单次前向传递中引导高分辨率信号的特征，
另一种将隐式模型拟合到单个图像以在任何分辨率下重建特征。
两种方法都使用多视图与 NeRF 的深度类比的一致性损失。我们的功能保留了其原始语义，并且可以交换到现有应用程序中，即使无需重新训练也能获得分辨率和性能提升。
证明 FeatUp 明显优于其他功能类激活图生成中的上采样和图像超分辨率方法、用于分割和深度预测的迁移学习以及用于语义分割的端到端训练。
留言
發佈留言