欧亿平台| 欧亿平台在线登录注册|欧亿平台APP登陆下载【官网站点】

【欧亿在线注册】一文了解什么是循环神经网络(RNN)

人脑具有不同的机制来处理各个信息和序列。例如,我们对“喜欢”一词有一个定义。但是我们也知道,句子中“ like”的含义要取决于上下文的语境。


《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

视频是图像序列,音频文件是声音样本序列,音乐是音符序列。在所有情况下,序列的各个成员之间都存在时间依赖性。更改视频中帧的顺序将使其失去意义。改变句子或文章中的单词顺序可以完全改变其含义。

与人脑一样,人工智能算法具有用于处理单个数据和顺序数据的不同机制。创建了第一代人工神经网络,即在过去几年中越来越流行的AI算法,以处理单个数据,例如单个图像或固定长度的信息记录。但是它们不适用于可变长度的顺序数据。

递归神经网络(RNN)最早在1980年代提出,对神经网络的原始结构进行了调整,以使它们能够处理数据流。

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

前馈与递归神经网络

多层感知器(MLP)和卷积神经网络(CNN)是ANN的两种常见类型,被称为前馈网络。在前馈网络中,信息向一个方向移动。他们在一端接收输入,在其隐藏层中处理数据,并产生输出值。例如,图像经过一端,而图像内容的可能类别来自另一端。

前馈神经网络

在前馈神经网络中,信息沿一个方向移动。处理完一条信息后,前馈网络将其忽略,并独立处理下一个输入。因此,前馈网络对输入之间的序列和时间依赖性一无所知。另一方面,递归神经网络使用通过隐藏层获得的结果来处理将来的输入。

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

在递归神经网络中,隐藏层的输出被反馈到网络中。

信息到内层的反馈使RNN可以跟踪过去处理过的信息,并使用它来影响将来做出的决策。这就是为什么当递归神经网络将一个单词作为输入来处理时,该单词之前发生的事情会有所作为的原因。

递归神经网络的不同模式

根据用例的类型,可以将RNN调整为以下模式之一:

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

当单个输入映射到多个输出时,将使用一对多模式。例如,图像捕捉系统拍摄单个图像并输出描述。

一对多:在一对多RNN中,单个输出映射到序列。

当输入序列映射到单个输出时,将使用多对一模式。例如,情感分析RNN采用单词序列(例如,tweet)并输出情感(例如,正面或负面)。

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

多对一:多对一RNN将序列映射到单个输出

研究人员展示分子编织物 创造出“世界上最好的织物”打破吉尼斯纪录

编织,【欧亿在线平台怎么注册】【欧亿在线平台注册】

当输入序列映射到输出序列时,将使用多对多模式(也称为序列对序列模型)。例如,机器翻译RNN可以将英语句子作为输入并产生法语对等词。

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

递归神经网络的应用

RNN的一些最重要的应用涉及自然语言处理(NLP),它是计算机科学的一个分支,可帮助软件理解书面和口头语言。

电子邮件应用程序可以使用递归神经网络来实现诸如自动完成句子,智能撰写和主题建议之类的功能。您还可以使用RNN来检测和过滤垃圾邮件。

聊天机器人是递归神经网络的另一个主要应用。作为对话界面,它们必须能够处理较长且变化的文本序列,并以自己生成的文本输出进行响应。这是多对多RNN模式的示例。

NLP中RNN的其他用户包括问题回答,文档分类,机器翻译,文本摘要等。

与自然语言相关的递归神经网络的另一个用途是语音识别和转录。可以训练RNN将语音音频转换为文本,反之亦然。但是递归神经网络的使用不仅限于文本和语言处理。RNN可以应用于任何类型的顺序数据。

例如,如果您针对爱尔兰民俗音乐训练循环神经网络,它可以生成自己的凯尔特风格音符序列。RNN在时间序列预测中也很有用。例如,受天气数据或股票价格训练的循环神经网络可以生成对未来的预测。

超越递归神经网络

原始RNN遭受一个称为“消失梯度”的问题。无需赘述技术细节,梯度消失的问题意味着随着RNN进入更多循环,旧数据将失去作用。例如,如果您正在处理文本,则开始时出现的单词会随着序列长度的增加而失去相关性。消失的梯度问题不仅限于递归神经网络,而且在RNN中变得更加棘手,因为它们旨在处理较长的数据序列。

为了解决这个问题,德国科学家JürgenSchmidhuber和他的学生在1990年代中期创建了长短期记忆(LSTM)网络。LSTM是RNN的一种特殊类型,它的结构要复杂得多,并且可以解决梯度消失的问题。它已取代了机器翻译,语音识别和时间序列预测等大多数主要领域的RNN。

长短期记忆网络

《【欧亿在线注册】一文了解什么是循环神经网络(RNN)》

最近,2017年推出的另一种序列处理神经网络Transformers受到欢迎。变压器利用一种在某些RNN结构中发现的称为“注意力机制”的技术,在非常大的数据集上提供更好的性能。

变形金刚已成为AI取得许多非凡成就的关键组成部分,其中包括可以产生很长序列连贯文本的庞大语言模型。许多大型科技公司都采用了自己的版本的《变形金刚》,并向公众开放。去年,艾伦(Allen)人工智能研究所(AI2)使用变压器创建了可以回答科学问题的人工智能。

需要注意的一件事是,RNN(像所有其他类型的神经网络一样)不像人脑那样处理信息。它们是统计推断引擎,这意味着它们可以捕获顺序数据中的重复模式。他们不了解这些数据点所呈现的概念。这就是为什么您需要大量数据才能从RNN获得可接受的性能的原因。

例如,OpenAI的GPT-2是一台15亿参数的Transformer,经过大量文本(数百万个文档)的训练。当您提供提示时,它可以产生有趣的文本摘录。但是它也会犯一些非常愚蠢的错误,例如无法理解文本中的数字和位置。在对GPT-2的严格评估中,科学家加里·马库斯(Gary Marcus)扩展了为何神经网络不善于处理语言的原因。

相反,对于我们人类而言,按顺序查找模式只是我们可以使用的许多技巧之一。我们还有许多其他机制可以理解文本和其他顺序数据,这使我们能够用逻辑和常识来填补空白。

RNN的成就和不足提醒我们,虽然我们在人工智能方面已经走了多远,而且还需要走多远。

【欧亿平台怎么登陆】【欧亿登录注册】

科学家首次对晶体结构进行激光成膜 为智能纳米电子学开辟新前景

成像技术,激光束

点赞