InfoQ
2019-12-01 22:07:26 发布
#小Q分享# 《Alexa 的研究论文为神经网络优化提供了最佳解决方案》：
亚马逊的 Alexa 科研人员发表了一篇论文，为神经网络优化提供了理论基础。虽然该文指出，很难通过计算找到一个完美的解决方案，但它提供了一个公式“近似结构搜索问题（a-ASP）”，可以用遗传算法解决。

在最近的一篇博文中，研究工程师 Adrian de Wynter 把神经网络架构选择问题转换成了函数逼近；在这个公式中，函数是输入数据到输出的“真”映射，而近似是通过训练形成的神经网络模型。网络架构的选择通常基于直觉或反复试验，但是 de Wynter 认为，这种“任意选择的神经架构不太可能提供最佳解决方案”。相反，给定一组神经网络组件，如卷积或最大池化层，自动优化架构搜索将找到这些组件的组合，以最小的误差逼近函数，而 de Wynter 的工作提供了“计算准确性的理论保证”。他证明了一般架构搜索问题（ASP）难以解决——也就是说，它不能保证在多项式时间内运行完。因此，他针对这个问题提出了一个“宽松”的公式“近似 ASP（a-ASP）”，可以在多项式时间内使用共同进化遗传算法解决。
余下全文：网页链接