1994 年，佛罗里达州珠宝设计师戴安娜·杜伊瑟 (Diana Duyser) 在烤奶酪三明治中发现了她认为是圣母玛利亚的图像，她将其保存下来，后来以 28,000 美元的价格拍卖。但是，我们对空想性视错觉（即看到物体上并不真实存在的面孔和图案的现象）真正了解多少？
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的一项新研究深入探讨了这一问题现象，引入了包含 5,000 张幻想图像的广泛的人工标记数据集，远远超过了以前的集合。利用这个数据集，研究小组发现了一些令人惊讶的结果，这些结果涉及人类和机器感知之间的差异，以及在一片吐司中看到面孔的能力如何可能挽救您远亲的生命。
面部幻想性错觉长期以来一直存在麻省理工学院电气工程和计算机科学博士生、CSAIL 附属机构、这项工作的首席研究员马克·汉密尔顿 (Mark Hamilton) 表示，它让心理学家着迷，但在计算机视觉界基本上尚未得到探索。我们希望创建一种资源，可以帮助我们了解人类和人工智能系统如何处理这些虚幻的面孔。
那么所有这些假面孔揭示了什么？其一，人工智能模型似乎无法像我们一样识别空想性的面孔。令人惊讶的是，研究小组发现，直到他们训练算法来识别动物面孔时，他们在检测幻想性面孔方面才显着变得更好。这种意想不到的联系暗示了我们发现对生存至关重要的动物面孔的能力和我们在无生命物体上看到面孔的倾向之间可能存在进化联系。汉密尔顿说，这样的结果似乎表明，空想性幻想可能不是源于人类的社会行为，而是源于更深层次的东西：比如快速发现潜伏的老虎，或者识别鹿的方向，以便我们的原始祖先可以狩猎。
另一个有趣的发现是研究人员所说的“幻想性视错觉金发姑娘区”，这是一类最有可能发生幻想性视错觉的图像。麻省理工学院电气工程和计算机科学教授兼该项目的首席研究员 William T. Freeman 表示，在特定的视觉复杂度范围内，人类和机器最有可能感知非面部物体中的面部。太简单了，没有足够的细节来形成一张脸。太复杂了，就会变成视觉噪音。
为了揭示这一点，该团队开发了一个方程来模拟人们和算法如何检测虚幻的面孔。在分析这个方程时，他们发现了一个清晰的空想性峰值，在该峰值中看到面孔的可能性最高，对应于具有适当复杂性的图像。然后，这个预测的金发姑娘区在真实人类受试者和人工智能面部检测系统的测试中得到了验证。
这个新的数据集“物体中的面孔”使之前通常仅使用 20-30 个刺激的研究相形见绌。这种规模使研究人员能够探索最先进的人脸检测算法在对幻想性人脸进行微调后的表现，表明这些算法不仅可以通过编辑来检测这些人脸，而且还可以充当硅代替我们自己的大脑，使团队能够提出并回答有关空想性面部检测起源的问题，而这些问题在人类中是不可能提出的。
为了构建这个数据集，团队从 LAION 中收集了大约 20,000 张候选图像-5B 数据集，然后由人类注释者仔细标记和判断。这个过程涉及在感知到的面孔周围绘制边界框，并回答有关每张面孔的详细问题，例如感知到的情绪、年龄以及该面孔是偶然的还是故意的。汉密尔顿说，收集和注释数千张图像是一项艰巨的任务。该数据集的存在很大程度上要归功于我的母亲，她是一位退休银行家，她花了无数个小时精心标记图像以供我们分析。
这项研究还具有潜在的应用价值，可以通过减少误报来改进人脸检测系统，这可以减少误报。可能会对自动驾驶汽车、人机交互和机器人等领域产生影响。数据集和模型还可以帮助产品设计等领域，理解和控制幻想性幻想可以创造更好的产品。汉密尔顿说，想象一下能够自动调整汽车或儿童玩具的设计，使其看起来更友好，或者确保医疗设备不会无意中显得具有威胁性。
人类如何本能地用人类来解释无生命的物体，这真是令人着迷。类似的特征。例如，当你看到一个电源插座时，你可能会立即想象它在唱歌，你甚至可以想象它会如何移动它的嘴唇。然而，汉密尔顿说，算法不会像我们一样自然地识别这些卡通面孔。这就提出了一些有趣的问题：是什么解释了人类感知和算法解释之间的差异？空想性幻想是有益还是有害？为什么算法没有像我们一样经历这种效果？这些问题引发了我们的调查，因为人类的这种经典心理现象尚未在算法中得到彻底探索。
当研究人员准备与科学界分享他们的数据集时，他们已经开始展望未来。未来的工作可能涉及训练视觉语言模型来理解和描述幻想性的面孔，这可能会导致人工智能系统能够以更类似于人类的方式处理视觉刺激。
这是一篇令人愉快的论文！读起来很有趣，它让我思考。汉密尔顿等人。提出一个诱人的问题：为什么我们在事物中看到面孔？加州理工学院电气工程系艾伦·E·帕克特 (Allen E. Puckett) 教授彼得罗·佩罗纳 (Pietro Perona) 说道，他没有参与这项工作。正如他们指出的那样，从包括动物面孔在内的例子中学习只能解释这一现象的一半。我敢打赌，思考这个问题将教会我们一些重要的东西，即我们的视觉系统如何在生活中接受的训练之外进行概括。
汉密尔顿和弗里曼斯的合著者包括丰田研究所的研究员科学家西蒙·斯坦特研究所;Ruth Rosenholtz，脑与认知科学系首席研究科学家、NVIDIA 研究科学家、前 CSAIL 成员；以及 CSAIL 附属机构博士后 Vasha DuTell、Anne Harrington MEng 23 和研究科学家 Jennifer Corbett。他们的工作部分得到了美国国家科学基金会和 CSAIL MEnTorEd 研究机会 (METEOR) 奖学金的支持，同时得到了美国空军研究实验室和美国空军人工智能加速器的赞助。麻省理工学院 SuperCloud 和林肯实验室超级计算中心为研究人员的成果提供了 HPC 资源。
这项工作将于本周在欧洲计算机视觉会议上展示。