对数刻度比较训练时间的比较Arxiv纸。
一种新的AI技术，即Versai，一种来自专有的AI技术verseon，正在挑战深度学习的主导地位，尤其是在数据稀缺的领域。在最近的一个预印本，基于基准测试结果，verseon的研究人员和密苏里大学的一位同事表明，versai可以比Google Automl更快地培训预测模型。在众所周知的分类基准中，例如人类活动识别（HAR），化学毒性预测（QSAR）和基于文本的CNAe-9 versai常规训练的速度比进发神经网的训练更快，同时提高了准确的精度代表性不足的课程。
机器学习技术始终需要选择超参数。尽管通常会手动选择超参数，但自动化方法在自动化机器学习（AUTOML）的保护下越来越普遍。Google Automl是该领域的先驱Google Automl产品。然而，正如Arxiv论文所描述的，由于使用极限学习机（ELM），Versai在许多任务上的效率更高，这既大大降低了高参数调整的复杂性和整体训练时间。极端汽车纸中描述的正面基准测试表明，Versai不仅超过了Google Automl的速度，而且在数据稀疏或代表性不足时提供了卓越的准确性。
基准研究基于加利福尼亚大学尔湾分校（UCI）存储库的著名数据集，其中Versai不仅提供了戏剧性的加速，而且在处理稀疏数据方面也表现出色。
``当我们开始集思广益时，主要的问题是：如果我们专注于稀疏数据问题，那是verseon的机器学习负责人的爱德华·拉特纳（Edward Ratner）博士。深度学习在大数据范式下演变。但是，如果您的数据相对稀疏 - 您需要另一种方法。样本点的数量取决于上下文。对于某些问题，一百万个样本点很少；对于其他人来说，有10,000个密集。拉特纳说，这是问题依赖的。但是，我们看到的是，当数据稀疏时，深度学习通常不会做得很好。
通过新方法解决稀疏的数据问题
大多数现代的AI框架都依赖于通过迭代反向传播训练的深度神经网络，一种方法助长了许多突破，但还需要大量的标记数据，专业硬件和艰苦的超参数调谐。由于versai不进行迭代优化，因此我们不需要衍生物。基于微积分中的链条规则的返回传播用于迭代优化。Ratner说，我们不进行迭代优化，因此我们不需要计算衍生品。”我们可以使用这些非线性元素，例如中位数。
``如果您可以依靠传统的深度学习技术，并且想使用诸如中位数之类的强大工具，那么您实际上如何设计一个实用的系统？”他问。
拉特纳（Ratner）解释说，回答这个问题，需要将视角转变为仅关注算法，也可以考虑数据本身的性质。Ratner指出了一个不同的挑战：大小的数据集。这样的数据集是在许多实际情况下，例如药物发现和专门的工业应用。``当我们开始头脑风暴时，主要的问题是：如果我们专注于稀疏数据问题，该怎么办？深度学习在大数据范式下演变。但是，如果您的数据相对稀疏 - 您需要另一种方法，”他说。
事实证明，另一种方法是极限学习机（ELMS）的合奏，共同被称为“极端网络”。步骤，消除深网所使用的迭代反向传播。该体系结构还使用手动超参数调整，使其对于可能没有大量数据集的用户或可以负担几天或几周的GPU时间的用户更快，更容易。
极端网络（动态生成的浅随机网络集合）与某些方面的深度学习有很大不同，但是它们仍然具有阈值激活神经元以及其他数值非线性元素的神经网络。Ratner说，深度学习可以做到这一点，因为它需要所有要素才能有所不同，而诸如中间（我们在网络中使用）之类的东西也不是可区分的。” Ratner说。
正面的基准
在本文中，作者将Versai的Extreme AutoML与多个分类数据集（包括人类活动识别和CNAE-9 Corpora）进行了比较，这是一个回归数据集，可预测美国电影的收入，以及SMS SPAM的NLP任务检测。尽管Google Automl提供了各种建模方法，但是Versai的基于ELM的方法始终以一小部分时间或数千倍的速度进行培训，同时提供卓越或可比的精度。这是一个巨大的空间，每个人都有自己的建筑。如果您只与一个相比，那可能不是结论性的。因此，我们决定对Google的汽车框架进行基准测试。
特别是，研究人员还使用超出原始精度的指标评估了性能。例如，他们测量了jaccard索引的度量标准，该指标反映了模型在数据集中的每个单独类别上的性能。对于班级的示例，请考虑 CIFAR-10数据集，其中包含60,000张图像分为10个类。这些课之一是汽车;其他类别包括飞机，卡车，猫，狗，马，马等项目。，有些课程比其他课程不那么普遍。
``论文都指出，Versai不仅达到了平均Jaccard指数，而且在整个类别之间显示出明显较低的差异。” Ratner说。这意味着该模型即使在代表性不足的群体上也始终如一，避免了深度学习模型的共同陷阱，这些模型以牺牲少数群体为代价将整体准确性优先考虑。”
该优势在药物发现中很重要，在药物发现中，准确预测稀有或新颖化合物的特性的能力可以制定或破坏研究计划。
Versai的方法还扩展到文本处理。本文描述了其自动生成的ELM合奏如何匹配SMS垃圾邮件分类任务上大语言模型的性能。
与代表性不足的类别产生较高JACCARD指数，因此Jaccard指数可变性更低的模型说明了更大的概括和实用性。Google Automl在类别差异很大的每种情况下。
我们对SMS数据集进行了基准的方法，以针对多种选择。我们击败了所有人，并将Openai的结果与四个小数点相匹配，即使Openai的模型接受了比罗伯塔的100倍培训。
药物发现及其他地区的潜力
当Ratner称其为较小的数据集时，使用深度学习时的障碍可能是处理小型，宽阔的数据集。例如，在生成新分子或筛选大型化合物库时，这可能很常见，因此对标准深度学习系统构成挑战。
这种局限性导致许多深层模型未能推断出训练数据超出培训数据，尤其是当天真地用于药物设计中的生成任务时。拉特纳还指出，许多行业因代表性不足或不断变化的数据分布而面临类似的挑战。结果，Verseon将Versai定位为通用AI，可以为电子商务，金融，零售等带来好处。
训练速度的差异具有很大的成本和环境影响。Verseon的新闻稿指出，在花费深度学习技术来生成模型的情况下，Versai仅需几分钟。这些速度的增长也转化为一个较小的硬件足迹，就像基于ELM的乐团所做的那样不需要典型的深网典型GPU或大型CPU群集。
无论是在制药，电影收入预测还是文本分类中，Extreme Automl都表明，从更大的公式中休息，这是过去十年来主导机器学习的更好的公式。
提交以下：机器学习和AI
标记为：自动化机器学习，，，，榆树合奏，，，，极端学习机，，，，jaccard索引分类，，，，非著作培训，，，，稀疏数据优化，，，，UCI基准测试