神经网络如何表示数据：关键深度学习现象的潜在统一理论
作者：Massachusetts Institute of Technology
神经网络如何工作？这个问题可能会使新手和专家混淆。麻省理工学院计算机科学和人工智能实验室（CSAIL）的团队说，了解这些表示形式，以及如何告知神经网络从数据中学习的方式，对于提高深度学习模型的可解释性，效率和概括性至关重要。
有了这个思想，CSAIL研究人员开发了一个新的框架，以了解如何在神经网络中形成表示形式。他们的规范表示假设（CRH）认为，在训练过程中，神经网络固有地将其潜在表示，权重和神经元梯度保持在每一层中。这种对齐意味着神经网络自然会根据与CRH的偏差程度和模式学习紧凑的表示。
高级作家托马索·波吉奥（Tomaso Poggio）说，通过了解和利用这种对齐方式，工程师可以设计更有效且易于理解的网络。研究是发表到arxiv预印服务器。
该团队相应的多项式对准假设（PAH）认为，当CRH破裂时，不同的阶段出现的表示，表示，梯度和权重成为彼此的多项式函数。Poggio说，CRH和PAH为关键深度学习现象（例如神经崩溃和神经特征Ansatz（NFA））提供了潜在的统一理论。
有关该项目的新的CSAIL论文提供了各种环境中的实验结果，以支持CRH和PAH，包括图像分类和自我监督学习。CRH建议将噪声手动注入神经元梯度中的可能性，以在模型表示中设计特定的结构。Poggio说，一个关键的未来方向是了解导致每个阶段的条件以及这些阶段如何影响模型的行为和性能。
Poggio说：“本文提供了一种新的观点，可以通过CRH和PAH理解神经网络中的表示形式。”“这为统一现有观察结果并指导未来的研究提供了一个框架深度学习。”
Csail博士后的合着者Liu Ziyin说，CRH可能会解释神经科学中的某些现象，这意味着这意味着神经网络倾向于学习正交表示，在最近的大脑研究。它也可能具有算法的含义：如果表示与梯度保持一致，则可以将噪声手动注入神经元梯度中，以在模型表示中工程师特定的结构。
Ziyin和Poggio与Isaac Chuang教授和前博士后Tomer Galanti共同撰写了该论文，该论文是德克萨斯A＆M大学的计算机科学助理教授。他们将在本月晚些时候在国际学习表现会议上介绍它（ICLR 2025）在新加坡。
更多信息：Liu Ziyin等人，神经网络中表示形成，arxiv（2024）。doi：10.48550/arxiv.2410.03006
期刊信息： arxiv
引用：神经网络如何代表数据：关键深度学习现象的潜在统一理论（2025年，4月1日）检索2025年4月8日摘自https://techxplore.com/news/2025-04-Neural-networks-potential-theory-key.html
该文档具有版权。除了为私人研究或研究目的的任何公平交易外，没有未经书面许可，可以复制部分。内容仅用于信息目的。
关于《神经网络如何表示数据：关键深度学习现象的潜在统一理论》的评论
暂无评论