添加链接 注册    登录
link管理
链接快照平台
  • 输入网页链接，自动生成快照
  • 标签化管理网页链接
相关文章推荐
聪明伶俐的肉夹馍  ·  OpenSeadragon ...·  1 周前    · 
失恋的包子  ·  Some (La)TeX and ...·  2 周前    · 
傲视众生的警车  ·  Web UI and ssh not ...·  1 月前    · 
有腹肌的机器猫  ·  天津市公安局·  5 月前    · 
耍酷的炒饭  ·  郴籍作家刘同发起“郴”字谐音成语接力·  8 月前    · 
风度翩翩的凳子  ·  python ...·  11 月前    · 
link管理  ›  从感知机到Transformer，一文概述深度学习简史 | 机器之心
机器学习 自然语言处理 深度学习 卷积
https://www.jiqizhixin.com/articles/2022-05-24-6
才高八斗的移动电源
2 年前
机器之心 机器之心 翻译

从感知机到Transformer，一文概述深度学习简史

机器之心编辑部
编译

这篇文章从感知机开始，按照时间顺序回顾了深度学习的历史。

1958 年： 感知 机的兴起

1958 年，弗兰克 · 罗森布拉特发明了 感知 机，这是一种非常简单的机器模型，后来成为当今智能机器的核心和起源。

感知 机是一个非常简单的二元分类器，可以确定给定的输入图像是否属于给定的类。为了实现这一点，它使用了单位阶跃 激活函数 。使用单位阶跃 激活函数 ，如果输入大于 0，则输出为 1，否则为 0。

下图是 感知 机的算法。
感知 机

Frank 的意图不是将 感知 机构建为算法，而是构建成一种机器。 感知 机是在名为 Mark I 感知 机的硬件中实现的。Mark I 感知 机是一台纯电动机器。它有 400 个光电管（或光电探测器），其 权重 被编码到电位器中， 权重 更新（发生在反向传播中）由电动机执行。下图是 Mark I 感知 机。
Mark I 感知 机。图片来自美国国家历史博物馆

就像你今天在新闻中看到的关于 神经网络 的内容一样， 感知 机也是当时的头条新闻。《纽约时报》报道说，“[海军] 期望电子计算机的初步模型能够行走、说话、观察、书写、自我复制并意识到它的存在”。今天，我们都知道机器仍然难以行走、说话、观察、书写、复制自己，而意识则是另一回事。

Mark I 感知 机的目标仅仅是识别图像，而当时它只能识别两个类别。人们花了一些时间才知道添加更多层（ 感知 机是单层 神经网络 ）可以使网络具有学习复杂功能的能力。这进一步产生了多层 感知 机 (MLP)。

1982~1986 : 循环 神经网络 (RNN)

在多层 感知 机显示出解决图像识别问题的潜力之后，人们开始思考如何对文本等序列数据进行建模。

循环 神经网络 是一类旨在处理序列的 神经网络 。与多层 感知 机 (MLP) 等前馈网络不同，RNN 有一个内部反馈回路，负责记住每个时间步的信息状态。

前馈网络与循环 神经网络

第一种 RNN 单元在 1982 年到 1986 年之间被发现，但它并没有引起人们的注意，因为简单的 RNN 单元在用于长序列时会受到很大影响，主要是由于记忆力短和梯度不稳定的问题。

1998： LeNet -5：第一个卷积 神经网络 架构

LeNet -5 是最早的卷积网络架构之一，于 1998 年用于文档识别。 LeNet -5 由 3 个部分组成：2 个卷积层、2 个子采样或 池化 层和 3 个全连接层。卷积层中没有 激活函数 。

正如论文所说， LeNet -5 已进行商业化部署，每天读取数百万张支票。下面是 LeNet -5 的架构。该图像取自其原始论文。
LeNet -5 在当时确实是一个有影响力的东西，但它（常规的卷积网络）直到 20 年后才受到关注！ LeNet -5 建立在早期工作的基础上，例如福岛邦彦提出的第一个卷积 神经网络 、反向传播（Hinton 等人，1986 年）和应用于手写邮政编码识别的反向传播（LeCun 等人，1989 年）。

1998：长短期记忆（LSTM）

由于梯度不稳定的问题，简单 RNN 单元无法处理长序列问题。LSTM 是可用于处理长序列的 RNN 版本。LSTM 基本上是 RNN 单元的极端情况。

LSTM 单元的一个特殊设计差异是它有一个门机制，这是它可以控制多个时间步长的信息流的基础。

简而言之，LSTM 使用门来控制从当前时间步到下一个时间步的信息流，有以下 4 种方式：

  • 输入门识别输入序列。

  • 遗忘门 去掉输入序列中包含的所有不相关信息，并将相关信息存储在长期记忆中。

  • LTSM 单元更新更新单元的状态值。

  • 输出门控制必须发送到下一个时间步的信息。

LSTM 架构。图片取自 MIT 的课程《6.S191 Introduction to Deep Learning》

LSTM 处理长序列的能力使其成为适合各种序列任务的 神经网络 架构，例如 文本分类 、情感分析、 语音识别 、图像标题生成和 机器翻译 。

LSTM 是一种强大的架构，但它的计算成本很高。2014 年推出的 GRU（Gated Recurrent Unit）可以解决这个问题。与 LSTM 相比，它的 参数 更少，而且效果也很好。

2012 年：ImageNet 挑战赛、AlexNet 和 ConvNet 的兴起

如果跳过 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 和 AlexNet，就几乎不可能讨论 神经网络 和 深度学习 的历史。

ImageNet 挑战赛的唯一目标是评估大型数据集上的 图像分类 和对象分类架构。它带来了许多新的、强大的、有趣的视觉架构，我们将简要回顾这些架构。

挑战赛始于 2010 年，但在 2012 年发生了变化，AlexNet 以 15.3% 的 Top 5 低错误率赢得了挑战，这几乎是之前获胜者错误率的一半。AlexNet 由 5 个卷积层、随后的最大 池化 层、3 个全连接层和一个 softmax 层组成。AlexNet 提出了深度卷积 神经网络 可以很好地处理视觉识别任务的想法。但当时，这个观点还没有深入到其他应用上！

在随后的几年里，ConvNets 架构不断变得更大并且工作得更好。例如，有 19 层的 VGG 以 7.3% 的错误率赢得了挑战。Goog LeNet (Inception-v1) 更进一步，将错误率降低到 6.7%。2015 年，ResNet（Deep Residual Networks）扩展了这一点，并将错误率降低到 3.6%，并表明通过残差连接，我们可以训练更深的网络（超过 100 层），在此之前，训练如此深的网络是不可能的。之前人们发现更深层次的网络工作得更好，这导致了其他新架构，如 ResNeXt、Inception-ResNet、DenseNet、Xception 等。

读者可以在这里找到这些架构和其他现代架构的总结和实现：https://github.com/Nyandwi/ModernConvNets

ModernConvNets 库。

ImageNet 挑战赛。图片来自课程《 CS231n》

2014 年 : 深度生成网络

生成网络用于从训练数据中生成或合成新的数据样本，例如图像和音乐。

生成网络有很多种类型，但最流行的类型是由 Ian Goodfellow 在 2014 年创建的 生成对抗 网络 (GAN)。GAN 由两个主要组件组成：生成假样本的生成器和区分真实样本和生成器生成样本的判别器。生成器和鉴别器可以说是互相竞争的关系。他们都是独立训练的，在训练过程中，他们玩的是零和游戏。生成器不断生成欺骗判别器的假样本，而判别器则努力发现那些假样本（参考真实样本）。在每次训练迭代中，生成器在生成接近真实的假样本方面做得更好，判别器必须提高标准来区分不真实的样本和真实样本。

GAN 一直是 深度学习 社区中最热门的事物之一，该社区以生成伪造的图像和 Deepfake 视频而闻名。如果读者对 GAN 的最新进展感兴趣，可以阅读 StyleGAN2、DualStyleGAN、ArcaneGAN 和 AnimeGANv2 的简介。如需 GAN 资源的完整列表，请查看 Awesome GAN 库：https://github.com/nashory/gans-awesome-applications。下图说明了 GAN 的模型架构。
生成对抗 网络（GAN）

GAN 是 生成模型 的一种。其他流行的 生成模型 类型还有 Variation Autoencoder ( 变分自编码器 ，VAE)、AutoEncoder （自编码器）和扩散模型等。

2017 年：Transformers 和 注意力机制

时间来到 2017 年。ImageNet 挑战赛结束了。新的卷积网络架构也被制作出来。 计算机视觉 社区的每个人都对当前的进展感到高兴。核心 计算机视觉 任务（ 图像分类 、 目标检测 、 图像分割 ）不再像以前那样复杂。人们可以使用 GAN 生成逼真的图像。NLP 似乎落后了。但是随后出现了一些事情，并且在整个网络上都成为了头条新闻：一种完全基于 注意力机制 的新 神经网络 架构横空出世。并且 NLP 再次受到启发，在随后的几年， 注意力机制 继续主导其他方向（最显著的是视觉）。该架构被称为 Transformer 。

在此之后的 5 年，也就是现在，我们在这里谈论一下这个最大的创新成果。Transformer 是一类纯粹基于 注意力机制 的 神经网络 算法。Transformer 不使用循环网络或卷积。它由多头注意力、残差连接、 层归一化 、全连接层和位置编码组成，用于保留数据中的序列顺序。下图说明了 Transformer 架构。

图片来自于《Attention Is All You Need》

Transformer 彻底改变了 NLP，目前它也在改变着 计算机视觉 领域。在 NLP 中，它被用于 机器翻译 、文本摘要、 语音识别 、文本补全、文档搜索等。

读者可以在其论文 《Attention is All You Need》 中了解有关 Transformer 的更多信息。

2018 年至今

自 2017 年以来， 深度学习 算法、应用和技术突飞猛进。为了清楚起见，后来的介绍是按类别划分的。在每个类别中，我们都会重新审视主要趋势和一些最重要的突破。

Vision Transformers

Transformer 在 NLP 中表现出优异的性能后不久，一些勇于创新的人就迫不及待地将 注意力机制 放到了图像上。在论文《 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 》中，谷歌的几位研究人员表明，对直接在图像块序列上运行的正常 Transformer 进行轻微修改可以在 图像分类 数据集上产生实质性的结果。他们将他们的架构称为 Vision Transformer (ViT)，它在大多数 计算机视觉 基准 测试中都有体现（在作者撰写本文时，ViT 是 Cifar-10 上最先进的分类模型）。

ViT 设计师并不是第一个尝试在识别任务中使用 注意力机制 的人。我们可以在论文 Attention Augmented Convolutional Networks 中找到第一个使用的记录，这篇论文试图结合自 注意力机制 和卷积（摆脱卷积主要是由于 CNN 引入的空间归纳偏置）。另一个例子见于论文《Visual Transformers: Token-based Image Representation and Processing for Computer Vision，这篇论文在基于滤波器的 token 或视觉 token 上运行 Transformer。这两篇论文和许多其他未在此处列出的论文突破了一些基线架构（主要是 ResNet）的界限，但当时并没有超越当前的 基准 。ViT 确实是最伟大的论文之一。这篇论文最重要的见解之一是 ViT 设计师实际上使用图像 patch 作为输入表示。他们对 Transformer 架构没有太大的改变。
Vision Transformer(ViT)

除了使用图像 patch 之外，使 Vision Transformer 成为强大架构的结构是 Transformer 的超强并行性及其缩放行为。但就像生活中的一切一样，没有什么是完美的。一开始，ViT 在视觉下游任务（ 目标检测 和分割）上表现不佳。

在引入 Swin Transformers 之后，Vision Transformer 开始被用作 目标检测 和 图像分割 等视觉下游任务的骨干网络。Swin Transformer 超强性能的核心亮点是由于在连续的 自注意力 层之间使用了移位窗口。下图描述了 Swin Transformer 和 Vision Transformer (ViT) 在构建分层特征图方面的区别。

图片来自 Swin Transformer 原文

Vision Transformer 一直是近来最令人兴奋的研究领域之一。我们可以在这里讨论许多 Vision Transformers 论文，但读者可以在论文《Transformers in Vision: A Survey》中了解更多信息。其他最新视觉 Transformer 还有 CrossViT、ConViT 和 SepViT 等。

视觉和 语言模型

视觉和 语言模型 通常被称为多模态。它们是涉及视觉和语言的模型，例如 文本到图像生成 （给定文本，生成与文本描述匹配的图像）、图像字幕（给定图像，生成其描述）和 视觉问答 （给定一个图像和关于图像中内容的问题，生成答案）。Transformer 在视觉和语言领域的成功很大程度上促成了多模型作为一个单一的统一网络。

实际上，所有视觉和语言任务都利用了预训练技术。在 计算机视觉 中，预训练需要对在大型数据集（通常是 ImageNet）上训练的网络进行微调，而在 NLP 中，往往是对预训练的 BERT 进行微调。要了解有关 V-L 任务中预训练的更多信息，请阅读论文《A Survey of Vision-Language Pre-Trained Models》。有关视觉和语言任务、数据集的一般概述，请查看论文《Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods》。

前段时间，OpenAI 发布了 DALL·E 2 （改进后的 DALL·E），这是一种可以根据 文本生成 逼真图像的视觉 语言模型 。现有的文本转图像模型有很多，但 DALL·E 2 的分辨率、图像标题匹配和真实感都相当出色。

DALL·E 2 尚未对公众开放，但你可以加入候补名单。以下是 DALL·E 2 创建的一些图像示例。
上面呈现的 DALL·E 2 生成的图像取自一些 OpenAI 员工，例如 @sama、@ilyasut、@model_mechanic 和 openaidalle。

大规模 语言模型 (LLM)

语言模型 有多种用途。它们可用于预测句子中的下一个单词或字符、总结一段文档、将给定文本从一种语言翻译成另一种语言、识别语音或将一段文本转换为语音。

开玩笑地说，发明 Transformers 的人必须为 语言模型 在朝着大规模 参数 化方向前进受到指责（但实际上没有人应该受到责备，Transformers 是 2010 年代十年中最伟大的发明之一，大模型令人震惊的地方在于：如果给定足够的数据和计算，它总能更好地工作）。在过去的 5 年中， 语言模型 的大小一直在不断增长。

在引入论文《Attention is all you need》一年后，大规模 语言模型 开始出现。2018 年，OpenAI 发布了 GPT（Generative Pre-trained Transformer），这是当时最大的 语言模型 之一。一年后，OpenAI 发布了 GPT-2 ，一个拥有 15 亿个 参数 的模型。又一年后，他们发布了 GPT-3，它有 1750 亿个 参数 。GPT-3 用了 570GB 的 文本来训练。这个模型有 175B 的 参数 ，模型有 700GB 大。根据 lambdalabs 的说法，如果使用在市场上价格最低的 GPU 云，训练它需要 366 年，花费 460 万美元！

GPT-n 系列型号仅仅是个开始。还有其他更大的模型接近甚至比 GPT-3 更大。如：NVIDIA Megatron-LM 有 8.3B 参数 。最新的 DeepMind Gopher 有 280B 参数 。2022 年 4 月 12 日， DeepMind 发布了另一个名为 Chinchilla 的 70B 语言模型 ，尽管比 Gopher、GPT-3 和 Megatron-Turing NLG（530B 参数 ）小，但它的性能优于许多 语言模型 。Chinchilla 的论文表明，现有的 语言模型 是训练不足的，具体来说，它表明通过将模型的大小加倍，数据也应该加倍。但是，几乎在同一周内又出现了具有 5400 亿个 参数 的 Google Pathways 语言模型 （PaLM）！

Chinchilla 语言模型

代码 生成模型

代码生成是一项涉及补全给定代码或根据自然语言或 文本生成 代码的任务，或者简单地说，它是可以编写计算机程序的 人工智能 系统。可以猜到，现代代码生成器是基于 Transformer 的。

我们可以确定地说，人们已经开始考虑让计算机编写自己的程序了（就像我们梦想教计算机做的所有其他事情一样），但代码生成器在 OpenAI 发布 Codex 后受到关注。Codex 是在 GitHub 公共仓库和其他公共源代码上微调的 GPT-3。OpenAI 表示：“OpenAI Codex 是一种通用编程模型，这意味着它基本上可以应用于任何编程任务（尽管结果可能会有所不同）。我们已经成功地将它用于编译、解释代码和 重构 代码。但我们知道，我们只触及了可以做的事情的皮毛。” 目前，由 Codex 支持的 GitHub Copilot 扮演着结对程序员的角色。

在我使用 Copilot 后，我对它的功能感到非常惊讶。作为不编写 Java 程序的人，我用它来准备我的移动应用程序（使用 Java）考试。 人工智能 帮助我准备学术考试真是太酷了！

在 OpenAI 发布 Codex 几个月后， DeepMind 发布了 AlphaCode ，这是一种基于 Transformer 的 语言模型 ，可以解决编程竞赛问题。AlphaCode 发布的博文称：“AlphaCode 通过解决需要结合批判性思维、 逻辑 、算法、编码和 自然语言理解 的新问题，在编程竞赛的参与者中估计排名前 54%。” 解决编程问题（或一般的竞争性编程）非常困难（每个做过技术面试的人都同意这一点），正如 Dzmitry 所说，击败 “人类水平仍然遥遥无期”。

前不久，来自 Meta AI 的科学家发布了 InCoder，这是一种可以生成和编辑程序的 生成模型 。
更多关于代码生成的论文和模型可以在这里找到：https://paperswithcode.com/task/code-generation/codeless

再次回到 感知 机

在卷积 神经网络 和 Transformer 兴起之前的很长一段时间里， 深度学习 都围绕着 感知 机展开。ConvNets 在取代 MLP 的各种识别任务中表现出优异的性能。视觉 Transformer 目前也展示出似乎是一个很有前途的架构。但是 感知 机完全死了吗？答案可能不是。

在 2021 年 7 月，两篇基于 感知 机的论文被发表。一个是 MLP-Mixer: An all-MLP Architecture for Vision ，另一个是 Pay Attention to MLPs(gMLP) .

MLP-Mixer 声称卷积和注意力都不是必需的。这篇论文仅使用多层 感知 机 (MLP)，就在 图像分类 数据集上取得了很高的准确性。MLP-Mixer 的一个重要亮点是它包含两个主要的 MLP 层：一个独立应用于图像块（通道混合），另一个层跨块应用（空间混合）。

gMLP 还表明，通过避免使用自注意和卷积（当前 NLP 和 CV 的实际使用的方式），可以在不同的图像识别和 NLP 任务中实现很高的准确性。
读者显然不会使用 MLP 去获得最先进的性能，但它们与最先进的深度网络的可比性却是令人着迷的。

再次使用卷积网络：2020 年代的卷积网络

自 Vision Transformer（2020 年）推出以来， 计算机视觉 的研究围绕着 Transformer 展开（在 NLP 中，transformer 已经是一种规范）。Vision Transformer (ViT) 在 图像分类 方面取得了最先进的结果，但在视觉下游任务（对象检测和分割）中效果不佳。随着 Swin Transformers 的推出， Vision Transformer 很快也接管了视觉下游任务。

很多人（包括我自己）都喜欢卷积 神经网络 。卷积 神经网络 确实能起效，而且放弃已经被证明有效的东西是很难的。这种对深度网络模型结构的热爱让一些杰出的科学家回到过去，研究如何使卷积 神经网络 （准确地说是 ResNet）现代化，使其具有和 Vision Transformer 同样的吸引人的特征。特别是，他们探讨了「Transformers 中的设计决策如何影响卷积 神经网络 的性能？」这个问题。他们想把那些塑造了 Transformer 的秘诀应用到 ResNet 上。

Meta AI 的 Saining Xie 和他的同事们采用了他们在论文中明确陈述的路线图，最终形成了一个名为 ConvNeXt 的 ConvNet 架构。ConvNeXt 在不同的 基准 测试中取得了可与 Swin Transformer 相媲美的结果。读者可以通过 ModernConvNets 库（现代 CNN 架构的总结和实现）了解更多关于他们采用的路线图。

结论

深度学习 是一个非常有活力、非常宽广的领域。很难概括其中所发生的一切，作者只触及了表面，论文多到一个人读不完。很难跟踪所有内容。例如，我们没有讨论 强化学习 和 深度学习 算法，如 AlphaGo、蛋白质折叠 AlphaFold （这是最大的科学突破之一）、 深度学习 框架的演变（如 TensorFlow 和 PyTorch），以及 深度学习 硬件。或许，还有其他重要的事情构成了我们没有讨论过的 深度学习 历史、算法和应用程序的很大一部分。

作为一个小小的免责声明，读者可能已经注意到，作者偏向于 计算机视觉 的 深度学习 。可能还有其他专门为 NLP 设计的重要 深度学习 技术作者没有涉及。

此外，很难确切地知道某项特定技术是什么时候发表的，或者是谁最先发表的，因为大多数奇特的东西往往受到以前作品的启发。如有纰漏，读者可以去原文评论区与作者讨论。

原文链接：https://www.getrevue.co/profile/deeprevision/issues/a-revised-history-of-deep-learning-issue-1-1145664
理论 发展史 深度学习

相关数据

DeepMind 机构
相关技术
图神经网络 支持向量机 非完全信息博弈 逻辑理论机 深度神经网络 空间变换网络 深度生成模型 对抗特征学习 随机梯度下降 贝尔曼方程 策略网络 像素递归神经网络模型 神经图灵机 深度学习 感受野 强化学习 阿尔法围棋 增量学习 神经算术逻辑单元 双Q学习 马尔可夫链 随机最大似然估计 Softmax生成对抗网络 机器学习 STRIPS 表达式 分层强化学习 神经网络 Alex网络 归一化指数函数 深度Q学习 降噪自编码器 语音合成 机器阅读(理解) 变分自编码器 邻里成分分析 完美信息博弈 深度强化学习 卷积神经网络 梯度遮蔽 Adadelta 优化器 深度卷积逆图形网络 大规模生成对抗网络 零样本学习 掩饰的基于区域的卷积神经网络 （文本）情感分析 逻辑推理
Ian Goodfellow 人物

Ian Goodfellow 是机器学习领域备受关注的年轻学者之一，他在本科与硕士就读于斯坦福大学，师从吴恩达，博士阶段则跟随蒙特利尔大学的著名学者Yoshua Bengio研究机器学习。Goodfellow 最引人注目的成就是在2014年6月提出了生成对抗网络（GAN）。这一技术近年来已成为机器学习界最火热的讨论话题，特别是在最近几个月里，与GAN有关的论文不断涌现。GAN已成为众多学者的研究方向。

相关技术
最小二乘生成对抗网络 对抗特征学习 对抗变分贝叶斯 发现跨域关系的生成对抗网络 深度卷积生成式对抗网络 损失敏感对抗生成网络
来源： Goodfellow, I. 个人页面
深度学习 技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源： LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
图像分割 技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。

来源： 百度百科
池化 技术

池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。

来源： cs231n
激活函数 技术

在 计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

来源： 维基百科 Google ML glossary
权重 技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源： Google AI Glossary
视觉问答 技术

感知 技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源： 维基百科
自然语言理解 技术

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

来源： 机器之心
重构 技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。

 
推荐文章
聪明伶俐的肉夹馍  ·  OpenSeadragon 实战系列第三方插件 - 一杯清酒邀明月
1 周前
失恋的包子  ·  Some (La)TeX and MathML fails to translate - Wiris
2 周前
傲视众生的警车  ·  Web UI and ssh not answering soon after start | Proxmox Support Forum
1 月前
有腹肌的机器猫  ·  天津市公安局
5 月前
耍酷的炒饭  ·  郴籍作家刘同发起“郴”字谐音成语接力
8 月前
风度翩翩的凳子  ·  python popen等待返回结果再进行下一步_mob64ca12df277e的技术博客_51CTO博客
11 月前
Link管理   ·   Sov5搜索   ·   小百科
link管理 - 链接快照平台