狗万官网唯一-让深度学习告别密集计算，新技术可减少95%计算量

莱斯大学的助理教授AnshumaliShrivastava说道，「它应用于任何深度自学架构，该技术都能亚线性地拓展，也就是应用于到的深度神经网络越大节省的计算出来就越多。」该研究将不会公布在今年的KDD会议上被讲解，它解决问题了谷歌、Facebook、微软公司等大公司面对的仅次于难题之一。这些大公司都在争相创建、训练、部署大量的深度自学网络来发展有所不同的产品，例如自动驾驶汽车、翻译成、邮件智能恢复。

Shrivastave和莱斯大学的研究生RyanSpring回应该技术来自于哈希法（hashing)，一种行之有效的数据检索方法，经过改篇可很大地增加深度自学的计算成本。哈希法用于哈希函数将数据切换为易管理的小数值哈希（被称作hash）。哈希被存储在表格中，类似于印刷书中的索引。Spring说道：「我们的方法融合了两项技术——精妙的本地敏感性哈希法变体（variantoflocality-sensitivehashing）和稠密偏移传播变体——以增加计算出来市场需求，且不附带大量的精确度损失。

例如，在小规模的测试中找到我们可以减少95%的计算出来，但是和通过标准方法提供的精确度仍然差1%以内。」深度自学网络的基本建构块是人工神经元。尽管在1950年代就被作为生物大脑神经元的模型，人工神经元还意味着是把输出数据转化成为输入结果的数学函数和方程式。在机器学习中，所有神经元都有完全相同的初始状态，就像白纸一样，它们不会随着训练享有各自的特定功能。

在训练中，神经网络「看见」了大量数据，每个神经元都会沦为辨识数据中特定模式的专用结构。在最底层，神经元继续执行非常简单的任务。

例如在图像识别应用于中，底层神经元也许用作辨识暗/亮，或是物体的边缘。来自这些神经元的输入不会被传送到网络中下一层的神经元那里，遭受其他模式的辨识和处置。仅有几层的神经网络才可辨识面部、猫狗、交通指示牌和校车等概念。Shrivastava说道：「向神经网络层级加到更好的神经元能拓展其展现出性能，而我们期望神经网络没大小下限，据报导谷歌正在尝试训练一个包括1370亿神经元的模型。

」相比之下，对于训练和部署这样的神经网络可能会有计算力的容许。他说道：「如今用于的大部分机器学习算法都研发于30至50年前，设计时未考虑到计算出来复杂性。

但有了大数据之后，在资源下有了基本的容许，比如计算出来周期、能耗和存储。我们实验室目的解决问题这些容许。」Spring回应，大规模的深度网络中，哈希法将不会很大地节省计算出来量和能耗。

他说道：「节约能源随着规模而减少是由于我们利用了大数据之中的稠密性。例如，我们告诉一个深度网络有10亿个神经元。

对于任何等价的输出，比如一只狗的图片，只有其中的几个不会逆激动。按照数据用语，我们将其称作稠密性，而正是由于稠密性，我们的方法将在网络变小之时节能更加多。

因此，当我们展出了1000个神经元的95%的节约能源时，数学指出我们可以为10亿个神经元构建多达99%的节约能源。

本文来源：狗万·ManBetX-www.uv15.com