语言不再为人类所独有?AI处理语言的方式直接打破乔姆斯基的观点

AI资讯3年前 (2023)发布 GPTHub
5 0
语言不再为人类所独有?AI处理语言的方式直接打破乔姆斯基的观点

文 | GPTHub

人工神经网络(ANN)是在计算机上构建的复杂网络算法,它模拟了生物神经系统中神经元之间的连接和信息传递,但它们之间是否具有更深层次的相似性,我们尚未可知。

比如,它们是否正在以相似的方式处理输入信息?

“长期以来,人们一直争论着人工神经网络是否像人类一样学习。”

——俄勒冈大学的语言学家维谢沃德·卡帕辛斯基(Vsevolod Kapatsinski)

而最近的一项新研究证实,自然神经网络和人工神经网络在语言学习上具有相似之处。这项研究由加州大学伯克利分校的计算语言学家加什珀·贝古什(Gašper Beguš)领衔,他将人类听取简单声音时的脑电波与人工神经网络分析相同声音所产生的信号进行了比较后发现,二者竟出奇的相似。他表示,“因声音刺激所产生的脑电波和ANN信号,是迄今为止报道的最相似的脑电波和ANN信号。”

研究人员还测试了由通用型神经元(适用于各种任务)构建的网络,发现即使是非常通用,且没有为语音或任何其他声音进化出偏好的人工神经网络,依旧呈现出了它与人类神经元编码的对应关系。研究者表示,这些结果不仅有助于解开神经网络学习的神秘面纱,还暗示着人类大脑其实并没有为语言产生特化的结构。

研究人员为14名英语使用者和15名西班牙语使用者连续播放了一个音节“bah”,每次播放时长为8分钟,共进行了两组实验。在声音播放过程中,研究人员记录到每位听者脑干(处理声音的第一个部位)的神经元的平均电活动。研究人员还将相同的“bah”声音输入到两组不同的神经网络中,一组经过英语声音数据集训练,另一组经过西班牙语声音数据集训练。研究人员记录了神经网络的处理活动,其重点关注神经网络中首次分析声音的卷积层(与脑干活动相对应)。结果发现,其中的信号与人脑电波高度匹配。

语言不再为人类所独有?AI处理语言的方式直接打破乔姆斯基的观点

图注:输入“bah”后,人工神经网络与人类大脑产生信号的比较

大家知道,人类脑电的采集和监测是容易实现的。那么,要如何让人工智能“听”到声音并收集它“大脑”的反馈信号呢?在实验中,研究者选择了一种被称为生成对抗网络(GAN)的神经网络结构作为人工神经网络的被试,其最初于2014年用于生成图像。GAN由两个竞争的神经网络组成,分别是鉴别器(discriminator)和生成器(generator)。生成器创建一个样本,可以是图像或声音。鉴别器则用于确定该样本与训练样本的接近程度并提供反馈,而生成器会再次尝试生成样本,直到GAN能够输出所需的结果。

在这项研究中,鉴别器最初是在一组英语或西班牙语声音集合上进行训练的。生成器(从未听过这些声音)必须找到一种产生这些声音的方法。它开始时会产生随机的声音,但经过大约40000轮与鉴别器的交互后,生成器逐渐改进,最终能够产生正确的声音。由于这种训练,鉴别器也变得更擅长区分真实声音和生成的声音。在鉴别器完全训练之后,研究人员再向其播放“bah”的声音,成功测量了人工神经元平均活动水平的波动。正如上文介绍的那样,这些波动产生了与人类脑电波非常相似的信号。

 

这个实验还揭示了人类和机器之间的另一个有趣的相似之处。脑电波显示,说英语和说西班牙语的参与者听到“bah”声音的方式不同(西班牙语使用者更多地听到了“pah”声),而生成对抗网络的信号也显示出,在处理声音时,经过英语训练的网络与经过西班牙语训练的网络略显不同。

“而且,这些差异的方向是相同的”研究者补充道。说英语的人的脑干对“bah”声的响应比说西班牙语的人稍早一些。对相同声音的响应而言,经过英语训练的生成对抗网络也比经过西班牙语训练的模型稍早一些。人类和机器在时间上的差异几乎完全相同,大约是一秒的千分之一。由此可见,人类和人工网络很可能以相似的方式进行信息处理。

语言学家诺姆·乔姆斯基(Noam Chomsky)曾在1950年代提出,人类天生具有理解语言的独特能力,是因为人类大脑的特定结构。然而,此次的研究结果却支持了与此相反的观点——处理语言实则并不需要特殊内在机制和独特的人类特征。

当然,很多人认为一项证据还远远不够印证这个观点。因此,研究者正在进一步探索人脑和神经网络之间的相似之处,例如,通过测试大脑皮层(在脑干完成其任务后进行听觉处理的区域)产生的脑电波是否与GAN深层产生的信号相对应。同时,他们也希望开发一个可靠的语言学习模型,用来描述机器和人类如何学会语言,从而利用该模型进行人类被试无法参与的实验。

“我们可以创造一个不良环境(类似于被忽视的婴儿),然后观察模型是否会出现类似语言障碍的情况。当然,我们还需要更多的工作来扩大和增强我们的计算架构使得人工神经网络达到人类的水平。而即使在目前相对早期的阶段,我们仍对人类和人工神经网络这两个系统之间内部运作的相似性感到惊讶。”研究者说道。

  • 原文链接:https://www.quantamagazine.org/some-neural-networks-learn-language-like-humans-20230522/
© 版权声明

相关文章

必读要闻一:谷歌测试医疗聊天机器人,AI医疗时代有望正式开启 谷歌云业务部门表示,正在与Mayo Clinic合作测试一项新的服务,以定制专用的医疗领域的聊天机器人。 海外“AI+医疗”发展相对成熟,已推出AI影像、诊断、制药、管理、机器人等产品。长江证券认为,多维度共同驱动之下,“AI+医疗”有望成为医疗IT行业下一个核心增长点。国内相关企业或进一步加大AI领域的研发进度,未来存在商业化进一步升级的可能。 上市公司中,朗玛信息(300288)成功开发出具有自主知识产权的医疗健康人工智能产品“朗玛·39AI全科医生”的认知水平可以达到初、中级全科医生的水平。创业慧康(300451)与浙大计算机创新技术研究院、浙江省智慧医疗创新中心签订三方战略协议,推动AI大模型在临床医疗、公共卫生、个人健康等场景中的研究与开发。 必读要闻二:这类器件有望广泛应用于光模块等多个领域 机构指出,薄膜铌酸锂调制器具有大带宽、低功耗、小尺寸等优势,有望成为调制器未来的重要发展方向。光通信、光纤陀螺、超快激光器等领域均存在对薄膜铌酸锂调制器的需求,未来增长具备广阔的市场空间。 中信建投证券表示,薄膜铌酸锂器件将大大减小尺寸,有望广泛应用于光模块和光器件等多个领域,市场规模进一步提升。根据Light Counting的预测数据,薄膜铌酸锂调制器适配的600G及以上相干光模块DSP市场,有望从2021年的1.31亿美元,增长至2027年的9.92亿美元,6年CAGR为40.06%,薄膜铌酸锂调制器行业具备较高的成长性。 上市公司中,天通股份(600330)生产的铌酸锂单晶材料是薄膜铌酸锂调制器的上游关键原材料。光库科技(300620)具备了开发高达800Gbps及以上速率的铌酸锂调制器芯片和器件的关键能力。 必读要闻三:到2027年中国游戏市场总收入或将超过570亿美元 咨询机构Niko Partners发布的一份最新报告显示,2022年中国游戏市场收入达到455亿美元,包含手机、PC和主机游戏。中国游戏公司在全球手机游戏和PC游戏的收入占比分别为47%和39%。预计到2027年,中国游戏市场总收入将超过570亿美元。 随着游戏科技不断发展,相关科技的运用早已突破游戏行业本身,在AI、VR等诸多领域也已产生作用。中信建投表示,游戏行业是AIGC的天然适用场景,是AIGC最重要的商业化方向之一。随着未来AIGC技术不断成熟,其对游戏行业将带来变革式影响。 上市公司中,顺网科技(300113)边缘算力网络可提供足量及就近的边缘算力服务,承接来自于人工智能、云游戏、工业互联网等行业对于实时算力的需求。迅游科技(300467)的“迅游网游加速器”是基于公司独立研发的SCAP,在行业内具备较高的知名度和较强的竞争优势。 必读要闻四:这一模式或快速在AI行业渗透,可最大化合理利用资源 随着AI的快速发展,算力短缺问题凸显,算力租赁或成为AI企业破局点。 华福证券指出,对于大多AI企业和行业应用企业而言,轻资产的算力租赁模式与企业资金实力和业务场景最为匹配,该模式有望快速在AI行业渗透,掌握算力资源的企业将具备非常明显的先发优势。另一方面,算力租赁业务本身也是轻资产模式,通过管理城市云的闲置资源并进行调度最大化合理利用资源,租赁收益与政府分成实现双赢,有利于城市云的进一步落地。 上市公司中,世纪华通(002602)深度参与投资的位于上海松江的腾讯长三角人工智能先进计算中心及生态产业园区项目。首都在线(300846)在10余个国家或地区建设了云网一体化的云计算节点,可为云游戏、AI、XR、数字人、数字孪生、智能制造等各领域提供算力。 钛小股·钛媒体财经研究院 2023.06.12 下载钛媒体App,关注更多财经投资机会! 更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App