走出门之前，您应该抓住雨伞吗？事先检查天气预报只有在预测准确的情况下才会有所帮助。
空间预测问题，例如天气预报或空气污染估计，涉及根据其他位置的已知值预测新位置中变量的值。科学家通常使用久经考验的验证方法来确定有多少信任这些预测。
但是麻省理工学院的研究人员表明，这些流行的验证方法对于空间预测任务可能会严重失败。这可能会导致某人相信预测是准确的，或者新的预测方法是有效的，而实际上并非如此。
研究人员开发了一种评估预测验证方法的技术，并用它来证明两种经典方法在空间问题上可能是错误的。然后，他们确定了这些方法为什么会失败并创建了一种新方法，旨在处理用于空间预测的数据类型。
在使用真实和模拟数据的实验中，其新方法比两种最常见的技术提供了更准确的验证。研究人员使用现实的空间问题评估了每种方法，包括预测芝加哥O-HARE机场的风速以及预测美国五个地铁地点的气温。
他们的验证方法可以应用于一系列问题，从帮助气候科学家预测海面温度到帮助流行病学家估计空气污染对某些疾病的影响。
``希望，当人们提出新的预测方法以及对方法的表现如何时，这将导致更可靠的评估。”工程和计算机科学（EECS），信息和决策系统实验室的成员以及数据，系统和社会研究所，以及计算机科学与人工智能实验室（CSAIL）的分支机构。
布罗德里克（Broderick）加入了纸由首席作家和麻省理工学院博士后David R. Burt和EEC研究生Yunyi Shen。该研究将在国际人工智能与统计会议上介绍。
评估验证
布罗德里克（Broderick）的小组最近与海洋学家和大气科学家合作开发了机器学习预测模型，这些模型可用于具有强大空间成分的问题。
通过这项工作，他们注意到在空间设置中传统验证方法可能不准确。这些方法具有少量的培训数据，称为验证数据，并使用它来评估预测变量的准确性。
为了找到问题的根源，他们进行了彻底的分析，并确定传统方法是对空间数据不合适的假设。评估方法依赖于有关验证数据和一个称为测试数据的数据的假设。
传统方法假设验证数据和测试数据是独立的且分布相同的，这意味着任何数据点的值都不取决于其他数据点。但是在空间应用中，通常情况并非如此。
例如，科学家可以使用来自EPA空气污染传感器的验证数据来测试预测保护区空气污染的方法的准确性。但是，EPA传感器不是独立的 - 根据其他传感器的位置，它们位于位置。
此外，验证数据可能来自城市附近的EPA传感器，而保护地点则位于农村地区。由于这些数据来自不同的位置，因此它们可能具有不同的统计属性，因此它们的分布不同。
Broderick说：``我们的实验表明，当验证方法分解的这些假设分解时，您会在空间案例中得到一些真正错误的答案。”
研究人员需要提出一个新的假设。
特别是空间
专门考虑从不同位置收集数据的空间上下文，他们设计了一种假设验证数据并测试数据在空间中平稳变化的方法。
例如，空气污染水平不太可能在两个相邻房屋之间发生巨大变化。
这种规律性假设适用于许多空间过程，它使我们能够创建一种评估空间域中空间预测变量的方法。据我们所知，没有人对提出更好的方法的错误进行系统的理论评估。”
要使用其评估技术，将输入他们的预测指标，他们想要预测的位置以及验证数据，然后它会自动完成其余的工作。最后，它估计了预测变量对所讨论的位置的准确性。但是，有效评估其验证技术被证明是一个挑战。
我们没有评估一种方法，而是在评估评估。因此，Broderick解释说，我们不得不退后一步，仔细思考，并对我们可以使用的适当实验发挥创造力。
首先，他们使用模拟数据设计了多个测试，这些数据具有不切实际的方面，但允许他们仔细控制关键参数。然后，他们通过修改真实数据来创建更现实，半模拟的数据。最后，他们使用了实际数据进行多个实验。
使用来自现实问题的三种类型的数据，例如根据其位置和预测风速预测英格兰公寓的价格，使他们能够进行全面的评估。在大多数实验中，他们的技术比将其比较的传统方法更准确。
将来，研究人员计划应用这些技术来改善空间环境中的不确定性量化。他们还希望找到其他规律性假设可以改善预测因子的性能的领域，例如时间序列数据。
这项研究部分由国家科学基金会和海军研究办公室资助。