OpenSetシーングラフ生成

シーングラフ生成（SGG）は、画像内の物体間の関係を検出することを目的とする。近年では、学習段階で未観測の未知物体も扱うオープンセットSGGへと拡張され、複雑な実世界のシーンにおけるさまざまな応用を可能にしている。しかし、従来のオープンセットSGGに関する研究では、既知物体のみで学習した物体分類器の信頼度スコアにしきい値を設けることで、未知物体の検出を単純に行っていた。実際には、これらのスコアは未知物体だけでなく、既知物体とは見た目が異なる背景の誤検出に対しても低くなる。そのため、現在の最先端手法では未知物体と背景を区別できず、それらの関係性を見落としてしまうという問題がある。本論文では、関係性を考慮した新しい未知物体検出手法を提案する。主な着想は、物体を含む前景領域のみが他の領域と関係を持ち得るという事実を活用する点にある。このために、物体と関係性に関するベイズモデルを定義し、変分推論アルゴリズムを導出した。本手法は、領域および領域対の間で前景らしさ（foregroundness）を伝播させることで、より多くの関連物体や関係性を持つ領域を前景として割り当てる。オープンセットSGGの公開ベンチマークを用いた大規模な実験の結果、提案手法は、最先端のしきい値ベース手法を含む従来法を上回る性能を、標準的なOSGDet指標において示した。また、提案手法はどのSGGモデルと組み合わせた場合でも有効であり（例：VCTreeモデルにおいてOSGDet@100が+0.61向上）、その有効性が確認された。