作者:Ye, Lei
一种由硬件支持的人工视觉系统旨在复制人类视觉系统的功能;它在感知和处理外部视觉信息方面的先进性能是自动驾驶技术、脑机接口和智能机器人等各个领域的基石。1,2,3,4,5,6,7,8,9,10为了实现强大的人类视觉能力,基于新的光电材料,人工视觉硬件迅速发展。11,12,13,14和非冯·诺伊曼架构15,16,17,18二维材料是很好的候选者19,20由于它们固有的无悬键表面、原子级锐利界面、强光物质相互作用以及电可调光电响应,用于制造人类视觉硬件。例如,通过引入非易失性存储,如铁电体21浮栅电极22,23以及材料缺陷24二维材料已被证明可以表现出重新配置的光学响应性,以在单一设备中混合就地传感预处理、边缘计算和信号编码功能25,旨在作为仿视网膜设计的基础。这种仿视网膜设计实现了人类视觉适应的基本功能。24,26颜色感知27特征提取22,28,29,30传感和运动感应23,31,32,33然而,大多数硬件形式在设计中忽略了视觉通路的复制,这使得将所有基本功能结合到一个硬件中以实现更复杂和高效的函数变得颇具挑战性。
人类视觉系统由视觉通路主导,这些通路包括视网膜、视觉皮层以及它们之间的连接组学(图。)1a)34,35,36在视网膜中,感光细胞(杆状和锥状)、双极细胞和节细胞依次连接,水平细胞和无长突细胞作用于邻近的像素细胞,形成具有中心增强和周围抑制的中心-周围感受野(CSRF)。顶盖中的外侧膝状体(LGN)被视为视网膜与视觉皮层之间的连接器,接收来自视网膜中大细胞和小细胞节细胞的相同CSRF信息,并将其传递给视觉皮层进行分布式层次处理。视觉皮层包括初级视觉皮层(V1)、次级视觉皮层(V2)、腹侧流中的V4区和颞下(IT)皮质,以及背侧流中的中颞(MT)皮质和顶叶皮质。根据上述三个组织模块的解剖结构和连接性,P通路和M通路37,38都是为了处理静态[color39,40形状和塑造41,42]和动态[方向43,44动作45,46超出视网膜的能力范围的信息。
为了开发一个支持多复杂功能且能耗更低的人工视觉系统,类似于人眼视觉通路的硬件正在被讨论。在这项工作中,我们设计了一种通用硬件架构,使用交叉阵列和相关的连接外围电路来复制视觉通路中的神经电路。交叉阵列中的基本器件是二硒化钨(WSe₂)2)可重构正/负光响应和导电性的分裂浮动栅(SFG)器件,使交叉阵列能够模拟人眼视觉系统中视网膜和视觉皮层神经网络的对比敏感度反应(CSRF)。视网膜与皮层之间的连接基于相关的外周电路。SFG阵列被用来构建具有特定外周电路的相关视觉通路复制硬件,实现了颜色视觉、形状视觉和动态视觉。在光生二极管模式下工作的类似视网膜的阵列可以在几乎零待机功耗的情况下自供电工作,在双极晶体管模式下工作的类似皮层的操作为浮动栅编程所需的能量低于1 pJ/脉冲,显示出超低能耗的前景。基于视觉通路复制设计,硬件实验上实现了符合人眼视觉系统的人工色彩处理功能,并能够利用硬件解释红色-绿色色盲( Daltonism)的原因。形状视觉硬件也在一个双层稀疏神经网络内有效进行形状分类展示,表现出与神经电路兼容的稀疏性和超过95%的识别率。通过减少61.1%的设备使用量和每操作仅为0.9 nJ的编程能量,低功耗应用的可能性得到了证实。该硬件实现了人类动态视觉功能,在实时处理视觉通路内突触传输时间差时追踪运动信息。值得注意的是,仿生硬件中展示的各种功能证明了其作为人工智能视觉任务强大平台的能力。
作为核心构建块,10×10交叉阵列采用铝(Al)单元SFG器件制造。2O3/Pt/Al2O3/WSe2,其作为光伏二极管或双极晶体管工作(图。)1b). 两种工作模式都要求在单一硬件上构建视觉通路。对于在两个调制相反的SFG下的光伏二极管模式,非易失性可重构n–p结会产生基于光伏效应的正负光电流,并且具有可调节的光响应度,通过将输入光与响应核卷积来构建CSRF。对于单个固定栅极下的双极晶体管模式VG,可重构的电导率作为神经网络的单位权重,实现可以利用基尔霍夫定律进行矩阵乘法运算的视觉皮层。为了在硬件中复制人类视觉系统的视觉通路,使用WSe2SFG阵列通过构建相关的外围电路来依次集成,以模仿视网膜或视觉皮层,这些外围电路用于电流到电压的转换和栅极电压的编程与控制(图。)1c然后,实现了色彩处理、形状识别和运动跟踪的多功能性。特别是与视网膜相关的硬件部分,包括颜色传感、方向选择器和运动跟踪,都是用工作在光伏二极管模式下的阵列构建的。同时,视觉皮层相关的部分,包括单色对立(SO)和双色对立(DO)的CSRF、色彩处理的神经网络以及双层稀疏神经网络,则是用工作在双极晶体管模式下的阵列构建的。这些功能需要精细匹配视觉通路,这由设计的硬件支持,并将在以下部分中讨论。
在光伏二极管模式下,由栅极调制的可重构光响应性VG1和VG2是实现CSRF的基础。当VG1以及VG2具有相同值但符号相反的我D–VD曲线(图S)4b在红绿蓝光(637 nm/520 nm/455 nm)的照射下,P在= 10 毫瓦/厘米Squared2表现出典型的p-n结光伏效应。可以通过栅极电压准线性调整正/负光响应(图S)4c),使得重建CSRF变得容易。在这里,通过将权重固定在几个离散值上来抑制非线性依赖对后续图像处理的影响,如近期工作所示。25在455纳米和10毫瓦/平方厘米条件下,构建了5x5阵列的近高斯分布光电响应矩阵。2照明,其中每个像素独立地由门控制(图。)1天SFG电压显著协同调节单元器件(图。)1e, S5c, S5天)以构建不同的结状态(图S3b–S3D短路电流(我SCSFG设备的信号与光强度呈线性相关P在(图)1f, S5a, S5b),有助于稳定编码入射光信息。此外,我们测试了10×10阵列中每个单元的电子和光电子性能,并提取性能特征(补充注释)1图S6–S11),表现出相当的均匀性,显著的存储容量和整个单元出色的栅极控制。在双极晶体管模式下,栅极脉冲调制输出更新(图。1克原文:和 S8)通过一个浮栅上的±1伏/10毫秒电压脉冲来测量,导致非易失性调制,并且编程能耗低于1皮焦/尖峰(补充注释)1可调导电度用作单元权重,以模拟交叉阵列中的视觉皮层计算。因此,硬件的每个单元都能正常工作,以满足当前应用程序的功能要求。
P通道中的颜色处理生物机制如图所示。2a三种类型的视锥细胞分别对红光、绿光和蓝光敏感,依次连接到ON/OFF双极细胞和ON/OFF节细胞。接受来自一种颜色的视锥中心增强的信息以及另一种颜色视锥周围抑制的信息,从而在LGN中构建了红色-绿色(R-G/G-R)、黄色-蓝色[(G+R)-B/B-(G+R)] 和黑色-白色[(B+G+R)/-(B+G+R)]的细粒度对比敏感功能(SO CSRFs)。在V1区域,通过整合来自LGN的小尺度和大尺度SO CSRF信息形成了红色-绿色(R&G)、蓝色-黄色(B&Y) 和黑色-白色(灰色)的空间组织对比敏感功能(DO CSRFs),最终在V4/IT区域通过神经连接分析从DO CSRF数据中获得颜色信息(详见补充说明)。2).
色彩处理硬件(图S)12)由SFG阵列构建,并如上所述复制神经回路。模仿视网膜,一个SFG阵列在前端重复使用12次,在光生二极管模式下工作。另外四个以双极晶体管模式工作的阵列依次复制视觉皮层的LGN-V1-V4-IT部分,通过矩阵乘法依次获得表示SO/DO CSRF和颜色信息的电压信号(补充说明 注意:原文末尾有不完整的括号和标点符号,可能需要进一步调整或补全)2).
为了演示硬件的工作过程,使用了一个34×31像素的三色圆形图像作为光源输入,将其分解为RGB成分,并映射到光强度上。P在波长为637/520/455 nm(图。)2a光输入逐像素照亮SFG阵列(图S)1) 以执行与颜色相关的卷积核的卷积操作。对于SO CSRF,颜色相关的卷积核的光学响应分布严格遵循高斯函数设置,类似于视网膜-LGN的生物机制。高斯标准差σ确定图像处理中的模糊程度,较大的值会使图像更模糊以提取全局信息,较小的值则更加集中以获取局部信息。 Theσ= 0.08 和σ分别用两个值(0.04和−0.008 A/W)和三个值(0.007,0.003和−0.0001 A/W)设置小(3×3)和大(5×5)CSRF的响应性分布(图 = 0.12)。2b图S中的其他情况13). SFG阵列的光电流被添加并通过外围电路中的跨阻放大器(TIA)转换为光电压。大尺寸和小尺寸的CSRF的光电压信号被导入另一个SFG阵列,通过矩阵乘法获得R+G−/亮度/Y+B− 和 G+R−/暗度/B+Y− SO CSRF信号(图)。2c其中,“R/G/B/Y”分别代表红色、绿色、蓝色和黄色的颜色信息。前面、后面、“+”、“−”、“lightness” 和 “darkness” 分别表示中心、周围、增强、减弱、“(B + G + R)” 和 “−(B + G + R)”。通过相同的矩阵乘法过程,可以获得 R&G/gray/B&Y DO CSRF 信号和处理后的 RGB 组件。DO CSRF 和处理后的 RGB 组件的仿真和实验结果如图所示。2d,e,分别而言。经过处理的RGB成分与人类视觉系统的色彩信息处理路径具有相同的特征,而这在传统仅过滤RGB组件的彩色相机中很难实现。此外,这种硬件可以展示红绿色盲未解释的原因。 Daltonism(色弱)起源于R-G SO-DO路径的失败。39,40因此,在实验设置中,只对该路径应用10%的权重比例(×0.1,在图的上平面中)2c,d). 具体而言,WSe的导电值为2晶体管连接R–G SO和DO的延迟设置为100纳秒,而其他通道的延迟设置为1微秒。经过上述感知和后处理过程之后,输出的颜色信息模仿了 Daltonism 患者对颜色图像的感知(图)。2f这只能通过考虑视觉通路来阐明。
形状识别的功能也在P通路中执行(图。)3a视网膜-LGN中的CSRFs根据不同的空间分布整合到V1中具有方向选择性的CSRF中。通过V2/V4稀疏连接汇总每个点的轮廓信息,实现在IT区的形状分类。47,48.
通过复制上述神经电路,形状识别硬件(图S)14)也是由SFG阵列构建的。一个工作在光伏二极管模式下的阵列采用方向卷积核(OCK)光电响应配置,并被重复使用来收集五个点的光电压,模仿视网膜-LGN。类似视觉皮层V1-V2-V4-IT的工作方式,另外三个工作在双极晶体管模式下的阵列构建了一个两层稀疏神经网络用于形状识别。这个神经网络依次执行第一层矩阵乘法、激活和第二层的操作(补充说明 )3).
定向选择器的CSRF OCK通过SFG阵列的光响应分布进行配置,在选定的方向上表现出正光响应,而在其他点则表现为负光响应(图。)3b为了测试OCK的方向选择性效果,使用一个50×50像素的正十六边形作为入射光图案,并与不同的OCK逐像素卷积以获得短路光电流分布。在相应方向上由OCK编码的最大值被产生作为验证依据。根据视觉通路的抽象处理流程,在仿真和实验中验证了形状识别(图.)。3C光线照亮了直角三角形的光掩模(图S)1),并量化传输的光图案为15×15像素大小作为光掩模输入。使用通过添加标准差为0.8的高斯噪声扩充的1600个样本作为数据库(图S)15a),每个样本被划分为五个区域(每个区域大小为5×5像素),这些区域与OCK进行卷积运算。在实验中,通过移动掩模的位置来调整这五个区域的光输入状态(图S)。1结果经过前向计算,激活(图S)15f),并通过一个5×8×4的双层稀疏神经网络利用反向传播更新权重。仿真(图。3D)和实验(图。3e权重记录了30个时期。硬件传导权重精度量化为64级(图S)15b经过训练,通过模拟和实验获得的三角形识别率均高于95%(图。)3f尽管受神经元连接稀疏性启发的稀疏神经网络与全连接网络相比在识别准确性上略有下降,但它通过将每操作的能量消耗从约2.3纳焦耳减少到0.9纳焦耳(减少了大约61.1%),显著降低了设备使用和编程能耗。3G附录说明 请注意,原文可能缺少具体需要翻译的内容,上述翻译仅针对给出的部分。若“Supplementary Note”在特定上下文中指代具体的说明或补充材料,请根据实际语境提供更多信息以便更准确地翻译。1).
人视觉系统的M通路基于Barlow–Levick模型实现运动追踪。46如图所示fig. 注意:这里的"as illustrated in Fig."是标准的英文写作中引用图表的方式,直接翻译为“如图所示”更为自然。如果有具体的图号(例如Fig. 1),建议保留,并在中文中也明确指出图号,如“如图1所示”。由于原文没有提供具体图号或其他细节信息,“fig.”被直接保留。4a光线依次刺激不同位置的感光受体,并根据轴突长度依赖性的信号传输延迟在不同的时间尺度上将信号传递到轴突末端。视网膜和视觉皮层中的基于CSRF的方向选择器仅对与给定运动方向平行的运动刺激产生信号叠加和激活。高级视觉皮层接收前一级信息并控制眼球运动以跟踪移动物体。
用于运动跟踪的视觉路径复制硬件(图S)16)使用一个WSe构建而成2SFG阵列及其相关外设电路,用于根据上述神经回路选择方向和控制眼球位置。SFG阵列模仿视网膜工作,并采用光伏二极管模式。同时,延迟模块、双向移位寄存器和开关晶体管分别复制了轴突的延迟机制、皮层的控制以及眼动机制(补充说明)4).
首先,方向选择器由SFG数组、延迟模块和与门组成。为了模拟生物延迟机制(图。)4b),SFG阵列中的四行相邻单元(标记为1-4)级联到相关的延时模块Δ中。原文:t1−4 (Δt1 > Δt2 > Δt3 > Δt4对于给定的方向“向上”(模拟不同长度的轴突),当光刺激出现在阵列的一行时,会产生一个光电流脉冲,并通过TIA转换为光电压。时间光电压(Vph) 通过相应的延时模块进行延时,以获得对应的时间电压信号 (Vdl然后它们被输入到四输入与门中以获得输出电压(V出局),确定方向。光线刺激的移动方向“向上”生成一个40毫秒的时间段V原文:ph从1到4信道的信号。经过延迟过程后,给定方向“向上”的移动产生高电平信号。Vdl四个通道同时输出高电平信号V出去代表正确方向(图。)4c否则,“向下”的移动方向不能生成四个高级通道信号Vdl同时,因此与门的输出总是低电平,被判断为错误的方向。其次,通过添加开关晶体管阵列和双向移位寄存器作为方向控制器来实现1D双向运动跟踪(图。)4d方向选择器是一个双向选择器的简化版本,它接收Vph通道1至3数组的方向选择性信号输出Vsf从两个双输入与门来确定移位寄存器的移动方向“上”或“下”。然后输出信号Vrg移位寄存器的切换自动控制开关晶体管的门控并接受Vph根据光刺激的方向对应数组通道的变化。当光刺激出现时Vph从2切换到3(1),高级信号Vsf双向选择器的输出被生成以确定方向“向上”(“向下”),并用作双向移位寄存器的移位信号。移位寄存器的输出Vrg)由……控制Vsf以及相关的开关晶体管在光刺激下被选中(图。)4e因此,在M通路中的运动追踪功能在硬件中得到了复制。最后,通过在两个正交方向上添加一维双向运动追踪器,可以在二维平面上进行运动追踪(图。)4f一个水平放置以跟踪“左”和“右”的移动,另一个垂直放置以跟踪“上”和“下”的移动。带有“HUST”图案的标记放在光源和阵列样品之间(图S)。1当面具以每秒20像素的速度沿“I”和“C”的轨迹顺时针移动时,光线刺激会诱导方向选择器产生“下”、“左”、“上”和“右”的输出。Vsf依次(图 Fig.)注意这里的“Fig.”保留不变,因为它是英文中的标准术语,代表“Figure”的缩写,在中文文献中通常也会保留原样。4G移位寄存器输出端口(图。)4小时这两个运动追踪器表示光刺激的位置,与掩模的移动轨迹一致(图)。4i因此,实验设置展示了类似于人类视觉路径的运动跟踪功能。作为原型,该硬件也可以通过精确编程延迟时间来支持高速跟踪任务。
总之,我们提出了视觉通路复制的硬件来实现红绿色盲处理、低功耗形状识别和自驱动运动跟踪,在实验中这些功能很难通过忽略视觉通路神经回路的硬件来实现。独特的WSe2SFG器件在交叉阵列中可以作为光伏二极管和双极晶体管工作,并具有非易失性可重构的正/负光响应性和导电性,使该阵列成为视网膜CSRF和视觉皮层神经网络的核心构建模块。这增强了将复杂的视觉功能无缝集成到单芯片中的可能性,这是通过双模式功能性器件创新实现的。二维材料异质集成的可能性使得这一目标得以实现。49,50, 这是WSe2SFG阵列可以与基于互补金属氧化物半导体的外围电路兼容,以构建复制人类视觉通路的芯片。反过来,它可以激发神经科学研究,并促进自动驾驶技术、脑机接口和智能机器人领域的进步。51,52例如,人眼颜色视觉通路的复制可以继承颜色恒常性53这有可能简化后续处理电路和算法中白平衡的复杂性。54此外,完整再现视觉通路将有助于开发更适应神经结构的脑机接口设备,并帮助盲人或色盲患者恢复正常的视力。55,56,57.
约100微米×100微米2WSe2flake是从块状晶体(来自HQ Graphene)机械剥离的。WSe210x10数组中的区域通过电子束光刻(EBL)和使用Ar/SF的反应离子蚀刻(RIE)进行了图案化。6等离子体。
首先,我们在涂有300 nm厚SiO的硅晶圆上准备了底部栅极(具有800 nm间隙)阵列。2)通过电子束光刻(EBL)和电子束蒸发(EBE)工艺沉积Cr/Au(5 nm/25 nm)衬底。其次,制备一个30 nm厚的Al阻挡层。2O3栅氧化物通过原子层沉积(ALD)制备,随后通过EBE沉积5nm厚的Pt作为浮置层。第三步,使用EBL定义浮置栅区域,并用Ar进行反应离子刻蚀(RIE)刻蚀Pt层。接下来,隧穿层为8nm厚的Al2O3通过ALD沉积。然后,沉积WSe₂2阵列使用PDMS(聚二甲基硅氧烷)/PVA(聚乙烯醇)辅助定点转移方法转移到了基底的期望位置。部分源漏Cr/Au(5 nm/70 nm)电极通过EBL和EBE制备。一个50 nm厚的Al2O3隔离层通过ALD沉积,并在Al之间形成了通孔2O3隔离层和栅极垫通过电子束曝光(EBL)定义,并通过感应耦合等离子体反应离子刻蚀(ICP-RIE)进行刻蚀,使用了BCl3/Ar等离子体。第二层源漏Cr/Au(5 nm/70 nm)电极的另一部分通过电子束光刻(EBL)和电子束蒸发(EBE)制备。最后,样品被放置在40针芯片夹上并进行了引线键合。
实验装置的示意图如图S所示。1一个连续波长(CW)激光器(长江索顿激光,SC–PRO)通过单色仪和由控制器驱动的衰减器调制到特定波长和强度。然后该激光器通过10倍显微镜物镜和受步进电机控制的掩模照射在设备阵列上,以构建不同颜色、强度和形状的动态光信息。在形状识别部分中,掩模由一个遮罩和磨砂玻璃组成,用于生成无序直角三角形光源输入。栅极电压脉冲通过使用波形发生器(National Instruments, PXI–5404)切换的列接地线逐行提供。输出电流信号通过源表(National Instruments, PXIe–4141)测量,或在印刷电路板组件(PCBA)上的跨阻放大器(TIAs)上放大并转换为电压信号。输出电压信号由源表(National Instruments, PXIe–4142)或示波器(Tektronix, TDS2024)记录。使用半导体分析仪(Keysight B1500A)、455/520/637 nm激光二极管和温度控制器(Thorlabs, ITC4020)在Lake Shore探针站上对单个设备进行了基本光电子测量。整个测试在一个大气环境中进行。
本研究所需的所有数据均包含在文章中。源数据文件已存放在Figshare平台,访问代码为https://doi.org/10.6084/m9.figshare.2623456158.
本研究中使用的所有代码可根据请求从通讯作者(L. Y.)处获得。
罗, L. 神经回路的架构。科学 373吴柏刚7285(2021).
舒曼等. 类脑计算算法与应用的机会。自然计算科学 2, 10–19 (2022).
来,C.,田中,S.,哈里斯,T. D. & 李,A. K. 利用海马脑机接口自主激活远程空间表征。科学 382, 566–573 (2023).
周,F.及柴,Y.近传感器和在传感器计算。自然·电子版 3, 664–671 (2020).
苏亚雷斯,L. E., 理查兹,B. A., 拉约, G. & 米西克, B. 从结构中学习神经形态网络的功能。自然机器智能 3, 771–786 (2021).
王,T.等.基于多层非线性光学神经网络的图像感测。自然·光子学 17, 408–415 (2023).
兰格内格勒,J. 等。内存中全息感知表示的因子分解。自然·纳米技术 18, 479–485 (2023).
Leiserson, C. E. 等。巅峰仍有广阔空间:摩尔定律之后什么将推动计算机性能发展?科学 368,aam9744 (2020).
Indiveri, G. 等人. 类神经硅神经元电路。 Front. Neurosci. 5, 9202 (2011).
塔库尔,C. S. 等人. 大规模神经形态脉冲阵列处理器:模仿大脑的探索。神经科学前沿 12, 353526 (2018).
周,F.等.用于神经形态视觉传感器的光电阻性随机存取存储器。自然·纳米技术 14, 776–782 (2019).
Choi, C.等。受人类视觉识别系统启发的MoS2-有机异质结构曲面神经形态图像传感器阵列。自然通讯 11, 1–9 (2020).
张 HT 等人. 用于人工智能的可重构钙钛矿镍电子器件。科学 375, 533–539 (2022).
兰扎,M. 等人. 用于数据存储、计算、加密和无线电频率通信的忆阻器技术。科学 376abj9979 (2022).
李,X.等.具有人工树突的节能神经网络。自然·纳米技术 15, 776–782 (2020).
梅吉亚托·马雷加,G. 等人. 基于原子级薄半导体的存内计算逻辑。自然 587, 72–77 (2020).
徐子等人。大规模光子芯片模块Taichi赋能160-TOPS/W人工通用智能。科学 384, 202–209 (2024).
张威等。使用完全集成的神经启发忆阻器芯片进行边缘学习。科学 381, 1205–1211 (2023).
诺沃肖洛夫,K. S.,米什琴科,A.,卡瓦略,A.及卡斯特罗内托,A. H. 关于二维材料和范德华异质结构的内容。科学 353,aac9439 (2016).
罗, P. 等人. 通过氧积累在介电界面扩大范德华间隙的二硫化钼晶体管。自然·电子杂志 5, 849–858 (2022).
童等人。基于二维材料的神经形态硬件同质晶体管-内存架构。科学 373, 1353–1358 (2021).
李升,彭瑞,吴超及李明.用于宽带光电子边缘计算的可编程黑磷图像传感器。自然通讯 13, 1–8 (2022).
周, Y. 等人. 计算事件驱动视觉传感器用于传感器内脉冲神经网络。自然·电子杂志 6, 870–878 (2023).
廖福刚等。受生物启发的传感器内视觉适应以实现精确感知。自然·电子学 5, 84–91 (2022).
梅内尔,L. 等人。基于二维材料神经网络图像传感器的超快机器视觉。自然 579, 62–66 (2020).
潘旭等。利用光调制记忆矩阵实现视觉运动的并行感知。科学进展 9adi4083 (2023)
申S.等.人工optic-neural突触用于彩色和颜色混合图案识别。 注意:“Seo”是人名,此处采用拼音“申”作为译文中的名字表示方法,但根据实际情况也可以保持原文不变;“et al.”为拉丁语缩写,通常在中文文献中直接省略不译或以“等”代替,在这里使用了简化形式“等”。自然通讯 9, 1–8 (2018).
张 GX 等人. 具有局部存储响应性的宽带感官网络用于神经形态机器视觉。科学进展 9adi5104 (2023)
裴,L.等. 使用带隙可调异质结构进行宽带卷积处理。自然·电子杂志 5, 248–254 (2022).
王峰等。一种二维中红外光电子视网膜,实现同时感知和编码。自然通讯_nat. commun. (保留原格式不变) 14, 1–8 (2023).
王 CY 等人. 可重构神经网络视觉传感器的 gate-tunable van der Waals 异质结构。科学进展 6,aba6173 (2020).
张志等。用于运动检测和识别的一体化二维视网膜硬件设备。自然·纳米技术 17, 27–32 (2022).
黄PY等。受神经启发的光学传感器阵列用于高精度静态图像识别和动态轨迹提取。自然通讯 14, 1–9 (2023).
李,D. 等。通过光学神经元实现传感器内图像记忆和编码以减少生物刺激领域并趋向视觉认知处理。自然通讯 13, 1–9 (2022).
克拉维茨,D. J., 萨利姆,K. S., 贝克,C. I., ungerleider,L. G. & 迈斯金,M. 视觉腹侧通路:一个扩大的神经框架用于处理物体质量。 Trends cogn. sci. 17, 26–49 (2013).
塔米埃托,M. & 摩罗内,M. C. 视觉可塑性: blindsight在视觉系统中连接解剖结构和功能。当代生物学 26,R70–R73(2016年)
巴登,T.,欧拉,T. & 贝伦斯,P. 理解跨物种视网膜视觉基础。自然·神经科学 21, 5–20 (2020).
范森,D. C., 安德森,C. H. & 费勒曼,D. J. 灵长类视觉系统的信息处理:一个整合系统视角。科学 255, 419–423 (1992).
约施,M.及迈斯特,M. 基于杆状细胞-锥状细胞对立的色彩视觉神经环路。自然 532, 236–239 (2016).
索罗门,S. G. & 莱尼,P. 色觉的机制。自然·神经科学 8, 276–286 (2007).
孙威、谭震、Mensh BD及姬天健。丘脑为初级视觉皮层的第四层提供方向和朝向特化的输入。自然神经科学 журнал 19, 308–315 (2016).
陈旭,王芳,Fernandez E.及Roelfsema P. R. 猴子视觉皮层通过高通道数神经假体的形状感知。科学 370, 1191–1196 (2020).
丁,H.,史密斯,R. G.,波莱格-波尔斯基,A.,戴蒙德,J. S. & 布里格曼,K. L. 哺乳动物视网膜中方向选择性的物种特异性连接。自然 535, 105–110 (2016).
李安·D· lien和马科·斯坎齐安尼. 大脑皮层方向选择性在丘脑突触会聚处产生。自然 558, 80–86 (2018).
刘博,洪安,Rieke弗兰克,Manookin迈克尔B。灵长类视网膜开始预测性编码运动。自然神经科学杂志 24, 1280–1291 (2021).
斯特劳斯等人。小鼠视网膜中心-周围相互作用决定双极细胞运动敏感性。自然通讯 13, 1–18 (2022).
布林卡特,S. L. &康纳,C. E. 后下颞叶皮层视觉形状选择的基本原理。自然神经科学杂志 7, 880–886 (2004).
普里贝,N. J. & 费斯特,D. 初级视觉皮层中的抑制、脉冲阈值和刺激选择性。神经元 57, 482–497 (2008).
贾亚钱德兰等。二维场效应晶体管的三维集成。自然 625, 276–281 (2024).
王,S. 等人。二维器件及向硅线路集成的技术。自然材料杂志 21, 1225–1239 (2022).
贝尔姆恩德,J. L. S.,加尔登福尔斯,P.,莫斯勒,E. I. &多勒尔,C. F. 认知导航:人类思维的空间代码。科学 362,aat6766 (2018).
裴健等。迈向具有混合天机芯片架构的人工通用智能。自然 572, 106–111 (2019).
高SB,杨KF,李CY及李YJ。利用双对立性的色彩恒常性。IEEE Transactions on Pattern Analysis and Machine Intelligence 37, 1973–1985 (2015).
Gijsenij, A., Gevers, T. & Van De Weijer, J. 计算色彩恒常性:综述与实验。IEEE Transactions on Image Processing 20, 2475–2489 (2011).
罗, X. 等人. 具有离子凝胶光合突触视网膜的仿生自驱动视网膜眼。自然通讯 15, 1–9 (2024).
杨,R.等.评估植入视网膜下的纳米线阵列作为人工感光细胞的盲鼠和猴子的视觉功能。自然医学与生物工程杂志. 1–22 https://doi.org/10.1038/s41551-023-01137-8 (2023).
贝尚姆,M. S. 等人。视觉皮层的动态刺激在视力正常的人和盲人中产生形状视觉。细胞 181, 774–783 (2020).
彭, Z. 文章“基于二维材料的多功能人眼视觉通路仿生硬件”的图表源数据。figshare, https://doi.org/10.6084/m9.figshare.26234561.v2 (2024).
本工作由中国国家自然科学基金(资助编号:62222404,62304084和92248304)(Y. L.),中国国家重点研发计划(资助编号:2021YFB3601200)(Y. L.),湖北省重大项目(资助编号:2023BAA009)(Y. L.)以及香港研究资助局博士后奖学金计划(资助编号:PDFS2223-4S06)(T. L.)共同资助。
作者声明没有利益冲突。
自然通讯感谢Young Min Song和匿名审稿人(s)对本文工作的评审。审稿文件可用。
出版者注记施普林格·自然对于出版地图中的管辖权声明和机构归属保持中立态度。
开放访问本文根据知识共享署名4.0国际许可协议发布,该协议允许在任何媒介或格式下使用、分享、改编、分发和复制,前提是您必须为原作者及来源提供适当的署名,链接到知识共享许可协议,并指出对原始作品的任何更改。除非材料本身的版权信息中另有说明,否则本文内的图片或其他第三方材料均受文章的知识共享许可协议约束。如果材料未包含在文章的知识共享许可协议中,而您的预期使用方式又不受法律规定允许或超出了许可范围,则您需要直接从版权所有者处获得授权。要查看此许可证的副本,请访问http://creativecommons.org/licenses/by/4.0/.
彭, Z., 同, L., 石, W. 注意:人名通常不会被翻译,这里按照拼音进行了转换。如果这些人名有对应的中文名字,请使用他们的中文名字。原文中的人名是拼音形式,直接以音译的方式给出中文字符。等著述者等人基于二维材料的多功能人脑视觉通路复制硬件自然通讯 15,8650 (2024). https://doi.org/10.1038/s41467-024-52982-3
收到:
接受:
已发布:
DOI: https://doi.org/10.1038/s41467-024-52982-3