【Relate-Anything】来了！帮你搞定一切关系！

关注公众号，发现CV技术之美

本月初，Meta推出的一款可以【分割一切】的模型已经引起了广泛的关注。今天，我们很荣幸向大家介绍一款名为“Relate-Anything-Model（RAM）”的机器学习模型。它赋予了Segment Anything Model（SAM）识别不同视觉概念之间的各种视觉关系的能力。该模型由南洋理工大学MMLab团队和伦敦国王学院和同济大学的VisCom实验室的同学利用闲暇时间合作开发。

演示程序链接：https://huggingface.co/spaces/mmlab-ntu/relate-anything-model

代码链接：https://github.com/Luodian/RelateAnything

数据集链接：https://github.com/Jingkang50/OpenPSG

RAM模型基于ECCV'22 SenseHuman Workshop & 国际算法算例大赛“Panoptic Scene Graph Generation”赛道冠军方案（https://arxiv.org/abs/2302.02651）。

RAM模型大致设计思路是：我们使用Segment Anything Model（SAM）来识别和分割图像中的物体，并提取每个分割物体的特征。我们使用Transformer模块来使分割物体之间产生交互作用，从而得到新的特征，计算它们的配对关系并分类它们的相互关系。

我们使用PSG数据集来训练我们的模型。对于每个训练图像，SAM会分割多个物体，但只有少数与PSG的ground truth（GT）mask相匹配。我们根据它们的交集-并集（IOU）分数进行简单的匹配，以便（几乎）每个GT mask都被分配到一个SAM mask中。然后，我们根据SAM的mask重新生成关系图。最后，我们使用交叉熵损失来训练我们的模型。

方案图如下图所示：

让我们来看一些“Relate-Anything-Model（RAM）”的应用实例吧！我们展示了一些关于踢足球、跳舞和交朋友的RAM模型实现的图像分析结果，这些结果让人印象深刻，展示了我们模型的出色性能和多样化应用的潜力。

如果您想了解更多关于“Relate-Anything-Model（RAM）”的信息，您可以访问我们的Huggingface演示页面和数据集页面。我们希望RAM模型能够为您带来更多的启发和创新，也期待着您的反馈和建议。

如果你也想训练会找关系的机器学习模型，请关注我们的工作https://github.com/Jingkang50/OpenPSG。

让我们一起探索这个神奇的机器学习世界吧！

阅读推荐

一次性分割一切，比SAM更强，华人团队的通用分割模型SEEM来了