图片来源@AI全家桶
文｜GPTHub
北京时间2023年5月31日，天桥脑科学研究院（Tianqiao and Chrissy Chen Institute，TCCI）举办了“AI问脑”第二期会议，主题是“生成式AI时代，‘读心术’会成为现实吗？”。本次会议由陈光博士主持，他同时也是AI领域的知名博主@爱可可-爱生活，两位嘉宾王少楠博士与孙静远博士则分享了他们对生成式AI进行神经解码的精彩见解。
神经解码的天花板：信号采集是关键
@陈光
神经解码领域的瓶颈之一是神经信号采集噪声大。那么神经信号采集环节已有的可以训练系统的数据是否都是通过被试实验获取的？是否存在一些其他的方法，比如通过生成数据来提高模型的训练效率？
@孙静远
举例来说，在曾经的一项研究中，我们主要采用的是给被试听中文的自然刺激，这种方式和以往的方式是有一定区别的。自然刺激是我们给被试听他们会在日常生活中听到的一些东西。自然刺激的一个优点是，相对于固定格式的刺激，采集的自然刺激数据后续所能做的实验范围更广泛。首先，我们没有在实验条件上进行非常严格的控制变量的设定，我们可以用这些数据去做其它（研究），只要是这些数据所包含的内容相关的研究。其次，在设计实验的时候，我们会在语料的筛选上面做一个设定，我们希望我们的语料能涵盖尽量宽广的语义空间，使我们的研究不局限在特定的主题。
@王少楠
除了用这种真人采集的数据以外，国外一个团队曾提出这样的实验范式，他们认为既然大规模语言模型（large language model）或神经网络（neural network）几乎可以拟合一切的数据，那么我们现在有了fMRI的数据，有了模型，模型可以预测神经影像的数据。我们就可以在已有的数据上训练，来生成一些新的没有见过的神经影像数据。这是实验数据获取的另一个思路。
@陈光
个体的思维习惯是否会影响信号采集的过程？
@孙静远
前面提到神经解码要应对的挑战主要是被试差异和数据采集的噪声。被试差异不会影响到数据的采集过程，我们在采集过程中会要求被试全身上下都尽量不要动。而应对被试差异，我们其实更需要在解码模型上做一些突破。
@王少楠
被试间的差异肯定会对我们的研究有一定的影响。但是我们现在关注的主要是共性的东西。就是想去解析人类在解码语言的时候有没有共同的规律。如果研究存在差异的话，会比较难，因为你不知道这种差异是来自被试间的，是数据质量间的，还是做实验的过程中由其他因素所引起的。进一步来说，在感知层面，不同被试之间是相同的，实际区别的是认知的过程。目前的研究，难以区分感知和认知。
@陈光
用人和小鼠做信号采集的区别是什么？
@王少楠
我觉得最大的区别就是，在人身上可以研究语言。如果是视觉信号的话，在动物和人身上都能开展；但是对语言研究来说，只有人具备这种能力。但是在人身上做实验大部分采用的都是非侵入式的系统。
@陈光
就视觉传输而言，传输过程中的神经信号是否可以被采集，进而解码？
@孙静远
我觉得对视觉传输过程中的神经信号进行解码是有意义的，但是为什么没有被实现呢？主要还是采集技术受限。目前国内外在信号采集时主要用的是fMRI，这种信号的缺点在于时间分辨率低。常见的采集间隔是1-2s。在这1-2s的过程中，视觉刺激从底层的视觉网络投射终末的视觉网络这一神经环路的传输过程已经完成，因此，在这样的时间分辨率下，我们在实验过程中采集到的不仅仅是视觉感知的信号，还有不同的视觉处理步骤信号的叠加。对这种混合的信号的解码是非常困难的。当然，如果我们有时间分辨率更高的信号，比如MEG和EEG，就有可能捕捉到视觉传输过程中某一特定的时间段。但是，MEG和EEG的空间分辨率很低。如果如提问者所言，捕捉视觉传输过程中的信号，需要一种时空分辨率皆高的采集方式。
@王少楠
我觉得动态的信息肯定是非常有用的。只是现在的研究还比较初步，大家还集中在比较简单的对这种静态信息的解码上。另一方面是，fMRI相关的研究较多。虽然MEG的时间分辨率非常高，可以动态的追踪毫秒级的信号传递，但MEG设备相对来说比较昂贵。因此，从数量上看，基于MEG的研究远没有fMRI相关的研究多，引发的关注点也不多。
@陈光
从几位之前的描述上看，底层的信号采集技术，似乎成为神经解码领域发展的瓶颈？近期神经解码领域内，在信号采集层面有什么突破吗？或者有什么最新的成果吗？
@孙静远
便携式的EEG和MEG的采集确实有一些进展，甚至国内有一些商业化的案例。不过他们所做到的也不是说我们所谓的“读心术”，它们做到的更多是分类。比如对某些精神疾病的分类以及对某些简单操控的分类；因为这些信号本身对信噪比的要求不是特别高，所以哪怕用比较小的设备，也能够一定程度上捕捉到这部分的信号；但是对于我们目前这种较为精细的神经解码需求，会期望一种时空分辨率同步高的成像手段，能够帮我们实现高质量的神经解码。时空分辨率高，且便携的信号采集设备的发展是任重道远的。
@王少楠
在fMRI神经信号的采集上，原先是3T的磁场，现在可以做到7T的磁场。磁场越强，信号采集的信噪比会更高。另外在采集实验数据的时候，有一个非常大的问题就是，我们没有办法保证被试的头部不做移动。所以目前有一些科研机构针对于此，设计出一种可以变形的头盔。被试佩戴头盔开展实验，可以在一定程度上保证数据的采集质量。
未来已来：神经解码的机遇和挑战
@陈光
那么从整体上看，请两位老师总结一下，目前神经解码领域主要的发展瓶颈？
@孙静远
我认为目前处在一种多点突破的局面，神经解码的进步离不开硬件和软件的共同发展，两者相互促进，相辅相成。硬件上的信噪比目前仍然是一个问题，信噪比的大小决定了后期模型解码结果的上限。但模型方面也仍然有许多可以继续挖掘的东西，我们希望不断逼近硬件所制约的信噪比的天花板。
@王少楠
我们目前对大脑的认知实在是太少了。如果对大脑的运作机理有一些更深入的了解，对神经解码或者其他相关的应用会有一定的帮助。
@陈光
生成式AI给神经解码领域带来了如此之大的发展，民众开始忧虑隐私泄露的问题。是否有一天，我们坐在公园的某张椅子上，自己全部的所思所想就会被监测到？AI读心术的伦理危机，两位老师怎么看？
@孙静远
遗憾的是，目前的研究离大家想象的这种程度相差甚远。目前非侵入式高信噪比的信号采集的硬件设施本身庞大，被试所想象的这种情况在当下几乎不可能。另外，技术的发展不能脱离监管，技术发展到哪个程度，也自然会有对应程度的监管。
@王少楠
之前去过北京科技馆，有一个关于神经编码的简易设施。人们可以带上脑电帽，聚精会神地用意念控制小球左右移动。目前能实现的可能就类似这种。聚精会神的想某个东西，实现一个简单的分类的信号，这样的信号可能会驱动外界的实体做一些简单的运动。但是目前我们距离解码思维这件事情，还非常遥远。
另一方面，即使我们现在离读心术的时代还非常遥远，我们还是应该去理性思考与AI相关的伦理和隐私问题。即使读心术没有实现，现在相关的软件却已经在窃听我们的隐私信息。我觉得最好的方式是拥抱变化，首先我们应该了解我们是有这样的权利的，有这样的一种隐私保护的意识。提出要求，才有可能让监管变得更适合个体。
相关文章
