自监督机器学习无需重新训练即可适应新任务

机器学习领域传统上分为两大类：“监督”学习和“无监督”学习。在监督学习中，算法根据标记数据进行训练，其中每个输入与其相应的输出配对，为算法提供明确的指导。相比之下，无监督学习仅依赖于输入数据，要求算法在没有任何标记输出的情况下发现模式或结构。

近年来，出现了一种称为“自我监督学习”（SSL）的新范式，模糊了这些传统类别之间的界限。监督学习在很大程度上依赖于人类专家来标记数据并充当“监督者”。然而，SSL 通过使用算法从原始数据自动生成标签来绕过这种依赖性。

SSL 算法具有广泛的应用，从自然语言处理 (NLP) 到计算机视觉、生物信息学和语音识别。传统的 SSL 方法鼓励语义相似（正）对的表示更加接近，而不同（负）对的表示更加分离。

正对通常使用标准数据增强技术（例如随机化颜色、纹理、方向和裁剪）生成。正对表示的对齐可以通过不变性（促进对这些增强不敏感）或等变（保持对它们的敏感性）来指导。

然而，挑战在于，对一组预定义的增强强制执行不变性或等变性会引入强大的“归纳先验”——关于学习表示需要满足的属性的固有假设——这在整个领域远非普遍。下游任务的范围。

在一个纸发布到arXiv在预印本服务器上，来自麻省理工学院计算机科学与人工智能实验室（CSAIL）和慕尼黑工业大学的一个团队提出了一种新的自我监督学习方法，该方法解决了依赖预定义数据增强的局限性，而是从通过关注可以适应不同转换的通用表示语境，它代表任务或环境的抽象概念。

这使得学习数据表示更加灵活，能够适应各种下游任务、不同的对称性和敏感特征，从而消除了对每个任务重复重新训练的需要。

研究人员将他们的方法称为“情境自我监督学习”（ContextSSL），并通过对多个基准数据集进行大量实验证明了其有效性。核心思想是引入受世界模型启发的上下文——捕捉代理环境的动态和结构。

通过合并这些世界模型，该方法使模型能够根据手头的任务动态地将其表示调整为不变或等变。这消除了为每个下游任务训练单独表示的需要，并允许更通用和灵活的方法到 SSL。

ContextSSL 利用转换器模块将上下文编码为状态-动作-下一个状态三元组的序列，表示先前的转换经验。通过关注上下文，模型学习根据上下文中表示的变换组有选择地强制不变性或等变性。

“具体来说，我们的目标是训练表示，随着上下文的增加，这些表示变得与基础转换组更加等效，”CSAIL 博士说。学生 Sharut Gupta 是这篇新论文的主要作者，研究人员包括麻省理工学院教授 Tommi Jaakkola 和 Stefanie Jegelka。“我们不想每次都对模型进行微调，而是希望构建一个灵活的通用模型，可以像人类一样适应不同的环境。”

对于需要不变性和等变性的任务，ContextSSL 在多个计算机视觉基准测试（包括 3DIEBench 和 CIFAR-10）上展示了显着的性能提升。根据上下文，ContextSSL 学习的表示会适应对给定下游任务有用的正确功能。

例如，该团队测试了 ContextSSL 在 MIMIC-III 上学习特定性别属性表示的能力，MIMIC-III 是大量医疗记录，其中包括药物、患者人口统计数据、住院时间 (LOS) 和生存数据等重要标识符。

该团队研究了这个数据集，因为它捕获了受益于等方差和不变性的现实世界任务：等方差对于诸如此类的任务至关重要医学诊断其中药物剂量取决于患者的性别和生理特征，而不变性对于确保预测住院时间或医疗费用等结果的公平性至关重要。

研究人员最终发现，当 ContextSSL 关注促进性别敏感性的背景时，性别预测的准确性和医疗预测都会随着背景而提高。相反，当环境促进不变性时，住院时间 (LOS) 预测以及通过均等赔率 (EO) 和机会均等 (EOPP) 衡量的各种公平性指标的性能会提高。

“自我监督学习的一个关键目标是生成可以适应许多下游任务的灵活表示，”谷歌 DeepMind 高级研究科学家迪利普·克里希南 (Dilip Krishnan) 说，他没有参与该论文。“以特定于任务的方式决定这些属性，比先验地烘焙不变性或等变性要有用得多。

“这篇有趣的论文朝这个方向迈出了重要的一步。通过巧妙地利用 Transformer 模型的上下文学习能力，他们的方法可以以简单有效的方式对不同的变换施加不变性或等变性。”