设为首页 | 加入收藏

欢迎访问幸运彩票是不是骗局-幸运彩票手机版-幸运彩票网官方网站

幸运彩票网官方网站 >> 幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨

选自 KDnuggets

作者:Jesus Rodriguez

机器之心编译

参加:李诗萌、路

最近,谷歌大脑团队宣布了一篇论文,文中提出了一种叫做概念激活向量(Concept Activation vectors,CAV)的新办法,这种办法为深度学习模型的可解说性供给了一个全新的视角。

最近,谷歌大脑团队宣布了一篇论文,文中提出了一种叫做概念激活向量(Concept Activation vectors,CAV)的新办法,这种办法为深度学习模型的可解说性供给了一个全新的视角。

可解说性仍然是现代深度学习运用的最大应战之一。核算模型和深度学习研讨范畴近期取得了很大发展,创立了非常杂乱的模型,这些模型能够包含数千个躲藏层、数千万神经元。虽然创立高档深度神经网络相对简略,但了解怎么创立这些模型以及它们怎么运用常识仍然是一个应战。最近,谷歌大脑(Google Brain)团队宣布了一篇论文《Interpretability Beyond Feature幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨 Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)》,提出一种叫作「概念激活向量」(Concept Activation Vectors,CAV)的新办法,为深度学习模型的可解说性供给了全新视角。

  • 论文地址:https://arxiv.org/pdf/1711.11279.pdf
  • GitHub 地址:https://github.com/tensorflow/tcav

可解说性与精确率

了解 CAV 技能,需求首要了解深度学习模型可解说性难题的实质。在这一代深度学习技能中,模型精确率与可解说性之间存在永久的抵触。可解说性与精确性之间的抵触也是完成杂乱常识使命与怎么完成这些使命之间的抵触。常识与操控、性能与可解说性、功率与简练……这些问题都能够经过权衡精确率与可解说性来解说。

你想要最佳成果仍是想了解这些成果是怎么发生的?这是数据科学家在每个深度学习场景中都要回答的问题。许多深度学习技能实质上是杂乱的,虽然在许多情况下它们发生的成果是精确的,可是它们难以解说。假如咱们制作一些闻幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨名深度学习模型的可解说性和精确率,能够得到:

深度学习模型的可解说性不是一幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨个单一的概念,能够跨多个层次来了解:

要跨过上图界说的层次来解说模型,需求一些根底的构建块。在中,谷歌的研讨人员概述了他们以为解说模型所需的根底构建块。

谷歌将可解说性准则总结如下:

  • 了解躲藏层做了什么:深度学习模型中的大部分常识是在躲藏层中构成的。要解说深度学习模型,有必要要从微观视点了解不同躲藏层的功用。
  • 了解节点是怎么激活的:可解说性的要害不是了解网络中单一神经元的功用,而是要了解在同一空间方位一同激活的相互衔接的神经元组。经过相互衔接的神经元组切割网络能够从更简略的笼统层次来了解其功用。
  • 了解概念是怎么构成的:深度神经网络怎么构成可组装成终究输出的单个概念,了解这一问题是另一个要害的可解说性构建块。

而这些准则是谷歌新办法 CAV 的理论根底。

概念激活向量(CAV)

如前所述,可解说性的一般办法应该是依据深度模型所考虑的输入特征来描绘其猜测成果。一个经典比方便是 logistic 回归分类器,一般会把分类器中的系数权重解说为每个特征的重要性。但大部分深度学习模型在特征层面(如像素值)的运算,无法和人类能容易了解的高档概念对应。此外,模型的内部值(例如神经激活)似乎是无法了解的。虽然像显著性图(saliency map)这样的技能能够有用丈量特定像素区域的重要性,但它们无法和更高档的概念相对应。

CAV 的中心思维是衡量模型输出中概念的相关性。对概念来说,CAV 是概念示例集的值方向上的一个向量。在他们的论文中,谷歌研讨团队还提到了一种名为 TCAV(Testing with CAV)的新式线性可解说性办法,这种办法用方向导数(di幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨rectional derivatives)来量化模型猜测对 CAV 学习到的底层高档概念的敏感度。从概念上讲,界说 TCAV 有以下四个方针:

  • 易于拜访:用户简直不需求 ML 专业常识。
  • 可定制化:习惯任何概念(比方性别),并且不受限于练习进程中所考虑的概念。
  • 插件预备:不需求从头练习或修正 ML 模型就能够直接作业。
  • 大局量化:用单个量化办法就能够解说整个类或整组示例,并且不只是解说数据输入。

为了完成上述方针,TCAV 办法分为三个根本过程:

  • 给模型界说相关概念;
  • 了解猜测成果对这些概念的敏感度;
  • 大局定量解说每个概念对每个模型猜测类的相对重要性。

TCAV 办法中的第一步是界说感兴趣的概念(CAV)。TCAV 运用的办法是,挑选一组能够表明这个概念的示例集,或许能够找到具有该概念的独立数据集的示例集。经过练习能够分辩概念示例发生的激活和恣意层发生的激活的线性分类器,学得 CAV。

第二步是生成 TCAV 分数,该分数表明猜测成果对特定概念的敏感度。TCAV 用方向导数完成了这一点,方向导数能够在神经激活层衡量 帕克ML 猜测值对沿着概念方向改变的输入的敏感度。

最终一步是评价学到的 CAV 的大局相关性,来防止依靠不相关的 CAV。TCAV 技能的一大缺点是或许学到无意义的 CAV。究竟,就算用随机挑选的一组图片也会得到 CAV。依据这种随机概念的测验不太或许有意义。为了处理这一问题,TCAV 引入了统计显著性查验,依据随机的练习次数(一般是 500 次)评价 CAV。这一步的思路是,有意义的概念会让练习进程中的 TCAV 分数保持一致。

TCAV 的作用

谷歌大脑团队进行了多项试验来比照 TCAV 和其他可解说性办法的功率。在最引人瞩目的一项试验中,该团队用显著性图来了解出租车的概念。该显著性图的输出如下图所示:

谷歌大脑团队用这些图画作为测验数据集,在 Amazon Mechanical Turk 上用 50 人进行了试验。每个人做 6 项使命(3 object classes x 2s aliency map types),所有这些使命都针对单个模型。使命次序是随机的。幸运彩票是不是骗局-谷歌大脑提出概念激活向量,助力神经网络可解释性研讨在每项使命中,作业人员首要会看到四张图画及其对应的显著性掩码(saliency mask)。然后他们对图画对模型的重要性(10 分制)、标题对模型的重要性(10 分制)以及他们对自己答案的坚信程度(5 分制)等问题进行打分。这些作业人员总共评价了 60 张不同的图画(120 个不同的显著性图)。

试验的根本事实是图画概念与标题概念更相关。但当看到显著性图时,人们以为标题概念更重要(0% 噪声模型)或没有不同(100% 噪声模型)。相比之下,TCAV 的成果正确地表明晰图画概念更重要。

TCAV 是近几年间研讨神经网络可解说性范畴中最具立异性的办法之一。GitHub 上有 TCAV 的初始技能代码,咱们等待看到一些干流深度学习结构会选用这一主意。

本文为机器之心编译,转载请联络本大众号取得授权。



上一条      下一条
返回顶部