视网膜建模的研究现状及进展探讨

摘要视网膜模型的建立是视网膜视觉假体中一个重要组成部分。视网膜模型是从已知的生理知识和实验数据出发模拟视网膜处理信息的功能,研究输入图像和输出神经冲动的关系。我们可以根据视网膜模型的原理将其分为硬件实现模型和算法模型。本文就对视网膜建模的国内外研究现状进行分析和讨论。

关键词人工视觉假体视神经视觉假体视网膜视觉假体人工神经网络神经生理模型

1引言

视觉是人类获得信息的一个重要途径。然而世界上有很多人存在不同程度的视觉障碍,不能通过视觉获得信息。所以建立人工视觉假体来帮助盲人恢复视力有重要的意义。

视觉是一个非常复杂的神经生理活动过程。光信息医学论文网从1·3亿个光感受细胞输入,通过复杂的处理由100多万个神经节细胞产生相应神经冲动,经视神经、视交叉、视束传到外侧膝状体,再经视中枢的复杂处理,最终形成视觉。对于某些有视觉障碍的人(如老年黄斑变性、色素性视网膜炎)来说,他们的大部分视网膜细胞和视神经细胞都保存完好。所以可以尝试在视网膜上设计视觉假体,通过将视觉信息转换为电刺激来刺激视网膜上未受损的部分来部分重建视觉。

本文我们讨论的视网膜模型可为视网膜上(epiretinal)视觉假体、视网膜下(subretinal)视觉假体和视神经(optic nerve)视觉假体的设计视网膜模型服务。视网膜上视觉假体的研究目前主要有Humayun等[1~3]和Rizzo等[4]小组进行。视网膜上视觉假体需要从外界如摄像头获取图像,通过处理后转换为电刺激传给植于视网膜最上层的微电极阵列来刺激神经节细胞。视网膜下视觉假体的研究目前主要有Zrenner[5]、Chow[6]和Sachs等[7]小组在进行。视网膜下视觉假体通过光电二极管把光转换为电流来刺激色素上皮层与双极细胞之间的区域。视神经视觉假体的研究目前主要有Verrart等[8~11]和Fang等[12,13]小组进行。

2视网膜简介

视网膜的结构非常复杂。根据其细胞的功能的不同可以分为5类,即光感受细胞、水平细胞、双极细胞、无长突细胞和神经节细胞。神经节细胞的轴突穿过眼球组成了视神经。而光感受细胞还可被分为视杆细胞和视锥细胞。视网膜上视觉最敏锐的区域叫黄斑区,其中央有一直径1·5 mm的中央凹。

在中心凹处主要集中的是视锥细胞,在中央凹以外视杆细胞逐渐增多。

视网膜的刺激传递是从光感受细胞到双极视网膜模型细胞最后传到神经节细胞产生放电。水平细胞和无长突细胞则构成视网膜传递的横向结构。光感受细胞的主要功能是接受光刺激。视锥细胞主要对强光敏感,而视杆细胞主要对弱光敏感。光感受细胞的电反应强度与细胞膜色素分子吸收的光子个数有关。

水平细胞位于光感受细胞下方,通过化学传递来接受光感受细胞的信号以及和其相邻层的电信号。水平细胞的作用相当于一个低通滤波器,为双极细胞提供一低频信号。双极细胞可以接受或抑制水平细胞和光感受细胞传来的信号,双极细胞根据其感受野的中心极性可以分为on和off两类。无长突细胞和水平细胞一样都是横向结构的细胞。无长突细胞接受双极细胞及其他无长突细胞的信号,它是首先产生神经冲动的细胞。它的反应与所给刺激的特性有关,并且各个细胞体都有所差异。无长突细胞对运动较为敏感。神经节细胞分为瞬时和持续两类,它主要接受双极细胞和无长突细胞的信号然后产生神经冲动,通过轴突传递到视神经。

3视网膜模型

3.1基于算法的模型基于算法的模型是应用人工神经网络、实验数据及数学算法等通过调节模型中的参数达到最优效果来模拟视网视网膜模型膜功能。

3.1.1人工神经网络模型应用人工神经网络来进行视网膜建模十分普遍,因为视网膜

有很明确的分层结构。同时,在视觉假体中实现人的视觉重建是一个不断学习的过程,所以应用人工神经网络的各个学习算法来进行模型优化是可行的。

①Cellular Neural Network (CNN)网络对视网膜建模提供了良好的基础,因为CNN网络和视网膜结构有着很多相似之处。CNN网络是一个非线性计算仿真网络。CNN计算网络框架的所有基本单元都是一阶的RC细胞。所有细胞间的冲动传递都是空间不变的,并且只能在相邻的层间作用。它的所有非线性的突触连接是突触前电压单调连续函数。冲动传递的时间间隙是连续的。用CNN网络对视网膜建模一般分成三步,即构造框架、选择参数、选择刺激。CNN模型为视网膜结构提供了一个有效、灵活的模拟。

目前美国和奥地利的Werblin等[14,15]采用CNN网络对视网膜进行研究。该视网膜模型运用了多层CNN网络来实现。生理学上的每个视网膜层由一层CNN网络来模拟,通过CNN 网络的结构和参数的调节来模拟从光感受器到神经节细胞各个部分的视网膜结构。两种分别控制运动和边缘检测的神经节细胞有着相同的结构,可以通过双极细胞传播和无长突细胞抑制这两个参数在其间进行转换。参数的值被分配到各个CNN模板上。每个层的参数包括神经元时间常数、空间常数及神经元输出函数,神经元输出函数可以是线性或非线性的。

该视网膜模型的输入是光感受器层,输出是神经节细胞的放电;输出是输入图像的一个特殊的编码。

模型通过突触来进行层间的传递。有三种接受模型,即普通模型(plain)、延迟模型(delayed)和减感模型(desensitizing)。

视网膜模型的计算过程分为4步。首先,通过外视网膜模块(OPL)来计算外视网膜(光感受细胞)。其次,通过内视网膜(双极细胞)激发模块(IRE)和特征检测器的时空模式来计算不同的刺激模式。再次,通过内视网膜抑制模块(IRI)来产生抑制模式。最后,通过内视网膜抑制模块和内视网膜激发模块的输出来计算单个神经节细胞模式以得到视网膜对视觉的时空表达。

CNN模型的输出和脊椎动物的视网膜输出尤为相似。通过该模型及其算法我们可以了解视网膜是如何调节各个参数的,可以解决一些真实的图像处理问题,当然也可以作为视觉假体中的视网膜编码器来产生刺激信号。

②比利时的Archambeau等[8]基于Veraart等[9~11]所进行的刺激视神经的实验用人工神经网络对其进行建模。他们采用了两种模型来预测刺激参数。第一种是完全黑箱模型,运用了线性回归算法、多层感受器人工神经网络(MLP)、径向基函数网(RBFN)。第二种是灰箱模型,该模型把目前所知的神经生理学知识和人工神经网络黑箱模型相结合来预测视觉感受的特征。模型还采用了交叉确认以得到更好的估计。这些模型医学论文网的目的在于找出能够把输入图像转换成脉冲刺激的算法来建立视觉编码。

黑箱和灰箱模型为电刺激得到的光斑的位置提供了一定的预测。这些预测值为今后的视神经模型的建立提供了参考。结果显示用人工神经网络来预测要比线性方法预测更准确,从而证实了视神经是非线性结构。今后,需要基于神经生理学来进一步优化预测,使黑箱白化。

③Eckmiller等[16-17]则提出了视网膜编码模型(RE)。该模型假设视网膜的图像处理可以通过一系列的时空滤波器(ST filter)来实现。该模型通过对各个编码参数的反复调整和对话学习来优化图像和视网膜放电的映射关系。模型由视网膜模块(RM)和视觉模块(VM)两部分组成。RM由16×16=256个可调的时空滤波器组成。时空滤波器的输入模拟了不同类型的神经节细胞的输入,它的输出则是用来刺激电极的脉冲串。RM把一个视觉图像(P1)映射成一组视网膜输出参数R1(t)。而VM则把视网膜参数R1(t)通过反映射转换成视觉对象(P2)。不可逆时空滤波器模拟了视网膜神经节细胞的一些性质来产生模糊的输出信号。而只有当输入R1(t)准确并含有充足的信息的时候,VM才能较好地产生输出视觉图像。模型的光传感器模块由光传感器芯片和输入图像组成。这个模块模拟了视网膜的光感受细胞部分。每个像素可以被分配给一个或多个时空滤波器。时空滤波器模拟了视网膜的神经节细胞。时空滤波器有四类:P-on

型、P-off型、M-on型和M-off型,每类时空滤波器有11个参数控制。这些参数的值域很广,可以产生实时的信号流。我们可以通过调节这些参数来达到最优输出。

视网膜编码模型的参数调节运用了基于对话的学习算法。拥有正常视力的实验者被要求对P2输出的6个图像和原始P1输入图像进行比较,从中选出3个和原始图像最接近的图像,然后通过各种学习算法包括进化算法修改RE的参数,基于选出的3个图像得出新的6个改进后的图像,重复进行直到P2输出和P1输入足够接近。

Eckmiller基于视网膜编码模型还提出了一个改进的视网膜编码模型(RE*)。这个模型考虑了如何对移动物体及眼睛的转动进行编码。改进的视网膜编码模型由编码模块(EM)和解码模块(DM)组成。EM由64×64阵列的光感受器输入和34×34蜂窝状排列的时空滤波器组成。DM的主要功能则是把EM的输出重塑成输入图像。DM的输出和EM的输入相对应,由64×64蜂窝状排列的像素点组成。这个模型的时空滤波器有3类,即P-on型、P-off型和M型,P 型占三分之二,M型占三分之一。每类时空滤波器产生三类不同的由4个值组成的代码。这些代码可以用来确定部分感受野刺激的像素值。改进的视网膜编码模型运用了树型分析算法。首先,所有DM的输出64×64像素点都为零。根据P-on型、P-off型和M型三类时空滤波器对中心感受野的响应得到可确认的像素点的值。然后,根据时空滤波器对中心及外围的整个感受野的响应来给相应的像素点赋值。接下来,运用树型分析算法可以继续为像素点赋值。然后把输入图像在时钟4点方向移动一个像素点重复上述步骤以确定所有像素点的值。

该模型为我们如何进行编码提供了很好的参考。模型根据视网膜的结构采用了蜂窝状的像素点,这样被不同电极激活的神经纤维不会相互干扰。

蜂窝状的像素提供了更高的采样频率和更好的转动恒定性。另外该模型的算法设计也比较合理,根据神经节细胞的特性采用了P-on型、P-off型和M型三类时空滤波器逐步对像素点赋值。

3.1.2实验统计模型比利时的Veraart等[8~11]

在进行视神经刺激的研究和建模。他们通过在人视神经上植入一个有4个正交的电极的圈套来刺激视神经,并且得到了不少收获。这个模型就是根据所得到的实验数据通过公式来拟合电流强度、刺激时间、脉冲个数、脉冲频率对域值、光斑位置、光斑大小、光斑亮度的影响。

为了比较所给刺激参数和所能“看到”的光斑的关系,Delbeke使用了体积传导模型。这个模型由两个部分组成。首先,用三维有限元素几何来计算被刺激到的区域。然后,通过一些描述视神经行为的公式来确定被激活的神经束。这个模型是一个简化的模型,模型假设视神经束排列是对称的、均匀的,并且视神经中心对应于一个固定的点。

该模型基于实验数据运用一些数学公式进行拟合。然而用4个电极比较粗糙,目前该小组正在加大电极数目进行进一步研究。另外对于实验对象来说,他的部分视神经细胞可能坏死,这样对实验结果带来了偏差,从而不能很好地用数学公式来拟合。

3.1.3视网膜结构分层计算模拟模型视网膜结构分层计算模拟模型就是基于已知的生理学知识,运用数学工具和相关算法来模拟视网膜的各层结构。

①瑞士的Beaudot等[18]使用了Michaelis-Menten法则而不是传统的对数函数来模拟光感受传递函数(photoreceptor transfer function)。可以看出,视网膜的神经及功能结构支持对非稳态的视觉信息的优化编码。模型通过适应性传递函数来控制视觉敏感性。该传递函数的参数由视网膜回路来估计,并反馈到光感受器上。该模型具有很多脊椎动物光感受器的重要特征。它根据Michaelis-Menten法则对输入信号进行压缩。它运用了基于信噪比的适应性的时空低通滤波器。它通过调整Michaelis-Menten法则的参数来适应光强。它能实现Weber-Fechner法则和移位特性。它和视网膜网络协同工作。视网膜网络为其提供了适应其非线性传递特性的神经信号。

该模型将Michaelis-Menten法则和Weber-Fechner法则相联系,给出了一个基于输入信号的统计特征的优化编码。这些输入信号的统计特征由视网膜网络来估计,并反馈到光感受器上以调整非线性传递函数。该模型是非线性可调的,它为视网膜的建模提出了一个理论框架。

②埃及的El Hefnawy等[19]运用了数学模型对视网膜进行建模。该模型包括光感受器、中间层和神经节细胞。该模型总结了在什么范围边缘效应开始影响拉普拉斯-高斯算子。该模型以计算机刺激来测试性能。该模型的光感受细胞层被模拟成圆形排列的光电二极管。水平细胞层用来获得不同光感受细胞的阶梯值(step size)。双极细胞层中的每个元素被模拟成逻辑电路用来压缩。无长突细胞层用逻辑关系而不是用数学公式来模拟。最后神经节细胞产生放电。

该模型通过模拟人的视网膜来解决边缘检测的硬件安装及算法等问题。该模型的功能测试为发展视觉信息处理提供了建议。

③西班牙Martin-Pereda等[20]的模型的基本要素是可编程的视觉逻辑细胞。同一种电路被用来模拟视网膜中的5种神经细胞,即光感受细胞、水平细胞、双极细胞、无长突细胞和神经节细胞。这5种细胞被分为3层,由光感受层的不同输入和内部或外部连接的改变,各层有不同的响应。该模型可以产生两种行为,即关于光斑位置对称和非对称行为。

该模型通过对视网膜的模拟为图像处理提供了一种解决方案。可以把该模型运用到图像处理中去。

3.2用硬件实现的模型用硬件实现的模型主要是用晶体管、电阻、电极等硬件来模拟视网膜的各层结构以实现视觉信息处理功能。目前已有不少研究小组设计出了成型的芯片。虽然各个小组所设计的芯片的像素不同,尺寸也不同,分层和算法也不完全相同,但是都应用了视网膜的滤波等特性以实现对视网膜的模拟。

3.2.1法国的Bernard等[21]设计的邻近组合处理视网膜芯片这款芯片的设计主要是为了证明图像处理和布尔算法处理可以集成在一块芯片上,以大大提高计算效率。这款芯片运用了半静态转换结构和相互作用的电路,由6个全局时钟信号控制的30个晶体管集成在50 mm2的2μm COMS技术的电路上。该芯片由65×76的像素点处理器组成,可以分为功能相互重叠的3层,即主要由光电二极管组成的图像处理器层,调节层(ordered dither halfton-er)和一个微处理器层(micrograined array proces-sor)。

3.2.2美国的Zaghloul等[22,23]设计的CMOS芯片这是一款96×60排列的光感受器合成在一块3·5 mm×3·3 mm的0·35μm CMOS芯片。这块视网膜芯片模拟了3 600个神经节细胞的放电情况。

这款芯片可以实现亮度调节、带通时频滤波、时间调节及对比度调节。这个模型模拟的4种神经节细胞可以对持续或者瞬时模式的光斑编码成积分形式的表达式。

该芯片的外视网膜模型有带通和时空滤波的功能。它由两层相互作用的电阻网格组成来模拟锥体细胞和水平细胞的结构特性。外视网膜模型的敏感度和这两个网格的空间分辨率成正比,所以它可以模拟亮度的调节。内视网膜模型有高通和时间滤波的功能。它模拟了窄域和宽域这两种无长突细胞。

根据分析可以得出,当输入是无噪的时候,角频率和输入频率有关。当输入是宽频时,角频率和对比度成正比。因此内视网膜模型实现了时频调节和对比度控制。

这个模型中的很多参数决定了芯片的形态。外视网膜模拟中的水平细胞的耦合调节可以研究变化的空间常数对神经节细胞的输出的影响。通过调节双极细胞终端和窄域无长突细胞的比例,可以控制残余瞬时细胞活动。通过调节宽域无长突细胞的耦合强度,可以研究空间频率和回路增益(loop gain)的关系。

3.2.3美国的Liu等[24]设计的芯片这款芯片的整体结构是由一个处理CMOS摄像机输出的外信号处理器、一个双向的遥感勘测仪器、一个模拟视网膜功能的内信号处理器、一

个刺激发生器和一个与视网膜连接的电极阵列组成。

芯片有60个独立电极和两个独立的可编程的数模转换器以提供更好的电流波形。芯片各零件之间的通信通过错误监控来加强。错误监控运用了循环冗余控制和求和校验算法。芯片还应用了振幅移动键控(ASK)解调器和延迟锁定循环(DLL)来改变脉冲宽度调制(PWM)数据恢复。这款芯片运用了AMI 1·2μm技术。芯片运用了两种从外部设备到内部设备的数据传输模式。第一种方法结合了ASK和PWM技术。这种方法把数据通过电源载波来传输,传输速率为25~250 kb/s。第二种方法把诱导数据和电源分开,这样可以提高传输效率。

这款芯片面积为4·6 mm×4·7 mm,由7 V的电源供电。刺激的频率大约是50 Hz,脉冲宽度1~5ms。

3.2.4日本的Kameda等[25]设计的芯片该芯片运用了大规模集成电路来模拟视网膜神经回路的结构和功能。这款芯片用来模拟视网膜的两类反应,即持续反应和瞬时反应。若输出是效仿持续反应,那么这个输出呈现出一种拉普拉斯-高斯的感受野,因此可以平滑输入信号并增强输入信号的对比度。瞬时反应是通过并发图像的相减产生的,因此该反应对移动物体敏感。这块芯片根据神经网络的功能被分为两片,一片是光感受器(P芯片),一片是水平细胞网络芯片(H芯片)。P芯片输出的图像通过平行传输地址以模拟电压的形式传到H芯片。H 芯片的采样保持(samplehold)电路可以消除传输通路上产生的噪声。

通过硬件实现的模型基本都是通过CMOS芯片把神经电路转换为电子电路。由于电路设计和能量供应的限制,这些芯片还只能部分模拟视网膜结构。通过调节测试芯片的各个部分,可以进一步了解各个参数对神经节细胞输出的影响,从而设计出更复杂更准确的硬件模型作为视网膜视觉假体来帮助盲人恢复视力。

4总结

不论是硬件模型还是算法模型基本上都由3层结构组成,即输入层、信号处理层和视觉输出层。所以说视网膜模型应该包括对应于输入层的传感器、对应于信号处理层的编码器及对应于视觉输出层的转换器。模型中的电刺激应该由脉冲宽度、脉冲频率、脉冲形状等多个参数来控制。

视网膜视觉假体的设计需要考虑到很多方面,诸如图像的编码、信号的压缩和传递、参数的设置、训练学习过程等。虽然很多视觉假体已经在动物甚至人体做了实验,可是仍然存在许多障碍和问题。

至今我们未能完全了解视觉通路神经活动及其编码关系,因此目前还不可能建立起一个十分有效的视网膜模型。然而国内外科学家在这个领域已经做出了不少成果,取得了相当大的进展。随着我们对神经刺激和视网膜结构了解的不断加深以及生物兼容性材料研究的进展,相信在不久的将来可以设计出较为有效的模型来实现视觉修复。

参考文献