对多巴胺信号传导的新看法表明神经科学家的强化学习模型可能需要修改

多巴胺是大脑中的一种强大信号，影响我们的情绪、动机、运动等。神经递质对于基于奖励的学习至关重要，这种功能可能会在许多精神疾病（从情绪障碍到成瘾）中受到干扰。

现在，由麻省理工学院研究所教授 Ann Graybiel 领导的研究人员发现了令人惊讶的多巴胺信号传导模式，这表明神经科学家可能需要完善他们的模型强化学习发生在大脑中。团队的发现已发表最近在杂志上自然通讯。

多巴胺在教导人类和其他动物了解预示积极和消极结果的线索和行为方面发挥着关键作用；这种学习的典型例子是伊万·巴甫洛夫训练的狗，让它在铃声响起时预测食物。

格雷比尔也是麻省理工学院麦戈文研究所的研究员，他解释说，根据强化学习的标准模型，当动物接触到与奖励配对的提示时，产生多巴胺的细胞最初是为了响应奖励而开火。当动物了解提示和奖励之间的关联时，多巴胺释放的时间就会发生变化，因此它与提示而不是奖励本身相关。

但与新工具格雷比尔的团队能够对大脑中多巴胺的释放时间和地点进行更详细的分析，但发现这个模型并不完全成立。

十多年前，该小组开始发现强化学习领域的模型并不完整的线索，当时实验室的研究生 Mark Howe 注意到与奖励相关的多巴胺信号并不是在奖励的那一刻突然释放的。奖励已经获得，但在此之前，随着老鼠越来越接近它的奖励，奖励逐渐增加。他们推断，多巴胺实际上可能正在向大脑的其他部分传达奖励的接近程度。“这根本不符合标准的规范模型，”格雷比尔说。

多巴胺动力学

当其他神经科学家考虑强化学习模型如何将这些发现考虑在内时，格雷比尔和博士后 Min Jung Kim 决定是时候仔细研究多巴胺动态了。“我们想：让我们回到最基本的实验并重新开始，”她说。

这意味着使用敏感的新型多巴胺传感器来追踪小鼠大脑中神经递质的释放，因为它们学会了将蓝光喝一口满足的水。研究小组将注意力集中在纹状体上，纹状体是大脑基底神经节内的一个区域，这里的神经元利用多巴胺来影响涉及各种过程的神经回路，包括基于奖励的学习。

研究人员发现，纹状体不同部位释放多巴胺的时间不同。但格雷比尔的团队没有发现从奖励时间到提示时间的多巴胺释放时间的转变——强化学习模型的标准模型预测的关键转变。

在该团队最简单的实验中，每当老鼠看到光时，就会得到奖励，当动物喝水时，纹状体的外侧部分会可靠地释放多巴胺。即使老鼠在看到光时学会期待奖励，对奖励的强烈反应也从未减弱。

相比之下，在纹状体的内侧部分，多巴胺在奖励时从未释放。当老鼠看到光时，那里的细胞总是会放电，甚至在学习过程的早期也是如此。格雷比尔说，这令人费解，因为在学习之初，多巴胺就被预测会对奖励本身做出反应。

当格雷比尔的团队在其实验装置中引入第二种光时，多巴胺的释放模式变得更加出乎意料。新的光与第一个光的位置不同，并不表示奖励。小鼠观察任一光作为提示，一次一个，水仅伴随原始提示。

在这些实验中，当小鼠看到与奖励相关的光时，中央纹状体中的多巴胺释放量就会增加，并且令人惊讶的是，它们会一直持续到奖励被传递为止。在该区域的外侧部分，多巴胺也涉及信号传导稳定的持续时期。

格雷比尔说，当实验者引入第二道光时，她惊讶地发现多巴胺反应发生了如此大的变化。当其他试验中可以显示另一种光时，即使小鼠一次只看到一种光，对奖励光的反应也是不同的。“这一定有认知方面的因素在起作用，”她说。“大脑希望将提示已经出现的信息保留一段时间。”

在该团队的实验中，纹状体中的细胞似乎是通过在光和奖励之间的短暂延迟期间持续释放多巴胺来实现这一目标的。事实上，格雷比尔说，虽然这种持续的多巴胺释放以前并未与强化学习联系起来，它让人想起与大脑其他部分的工作记忆相关的持续信号。强化学习，重新考虑

格雷比尔说，归根结底，“我们的许多结果并不符合传统上以及目前规范所认为的强化学习模型。”

这表明神经科学家对这一过程的理解需要随着该领域对这一过程的深入理解而不断发展。脑。

“但这只是帮助我们完善理解并重新制定基底神经节如何影响运动、思想和情感的模型的第一步。这些重新制定必须包括强化学习系统的惊喜。这些高原，但它们可能让我们深入了解单一体验如何在我们大脑中与强化相关的部分中徘徊，”她说。

这个故事由麻省理工学院新闻转载（web.mit.edu/新闻办公室/），一个热门网站，涵盖有关麻省理工学院研究、创新和教学的新闻。