追加視点選択によるPanoptic Lifting

本研究では、RGB画像とパノプティックセグメンテーションマスクの両方を活用して3次元シーンを表現する新しい視点合成技術であるPanoptic Liftingに対し、インクリメンタル学習手法を提案する。Panoptic Liftingは、仮想現実（VR）、自動運転、ロボティクスなどの応用において特に有用である。遮蔽などにより観測が限定される状況ではモデル性能が低下することが多く、そのたびにモデルを一から再構築するのは計算コストが高い。本手法では、モデルを段階的に更新することで、計算コストを抑えつつ高い精度を実現する。また、モデル更新時に以前学習した知識が失われる「破滅的忘却（catastrophic forgetting）」を防ぐため、初期に観測された視点の中から可視領域の被覆率を最大化する部分集合を選択する視点選択アルゴリズムを導入する。さらに、新たに得られた観測データは更新プロセスに完全に組み込む。このように選択された視点により、モデルはシーン全体に関する知識を均一に保持することができる。実験の結果、提案手法は単純な（ナイーブな）再学習手法と比較して計算時間を12％削減しつつ、破滅的忘却を効果的に防止できることが示された。