如何看待深度学习? | 数盟社区

近来,深度学习成为一个流行词。有分析师认为,它会削弱现有机器学习方法的地位。实际上,深度学习并不是一个新概念,它是上世纪90年代就已经出现的人工神经网络(ANN)算法的一种扩展。由于ANN需要极大的数据集用于训练,所以被边缘化了。深度学习算法为ANN带来了新生,它会训练多层ANN,而所需的数据比先前的预期要少。近日,数据科学家Anubhav Srivastava撰文分享了一些有关深度学习的看法。

深度学习可以更好地通过增加数据集的规模来改善学习结果,这是人们需要这种算法的原因。在实际的解决方案中,深度学习更适合于未标记数据,而这超出 了自然语言处理的范畴,后者更多限于实体识别。与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特征提取,它比其他工具更适合模式识 别(图像、文本、音频)。

但是,深度学习并不会取代其他所有的机器学习算法。对于许多应用而言,一些简单点的算法(如逻辑回归、支持向量机)就已经足够。支持者之所以为深度 学习而兴奋,一个基本的原因是,它是一种不同于线性或内核模型的元算法。这意味着,深度学习没有任何损失函数的特性,而且不受特定的公式限制,可以为科学 家提供更大的灵活性。

有分析师认为,深度学习是最像大脑的算法,但Anubhav认为这种观点有些片面,并以Numenta为例进行了进一步的阐述。Numenta“皮质(cortical)”算法基于分级时序记忆(HTM)模型,而后者是在“稀疏分布记忆(sparse distributed memory)”概念的基础上发展而来,那是一种学习人类长期记忆的数学模型。皮质算法既可以从空间维度,也可以从时间维度进行特征提取,使它更像是大脑的仿制品。

有鉴于此,Anubhav认为,目前围绕深度学习和Numenta的一些争论不甚合理。有种观点是,Numenta HTM适合无监督学习,并将此视为其相对于深度学习算法的一个重大优势。还有一种观点是,Numenta可以视为一种时间-内存需求更小的在线学习算 法。Anubhav指出,有一个很重要的事实被忽略了,就是深度学习是一个多层模型。在多数情况下,神经网络模型一次只能求解一种问题类型,面对多种问题 类型时,就需要使用混合模型。在这方面,深度学习算法的多层模型是一个巨大的优势,即使Numenta也无法与其相比。

(文章转载自:InfoQ

注:转载文章均来自于公开网络,仅供学习使用,不会用于任何商业用途,如果侵犯到原作者的权益,请您与我们联系删除或者授权事宜,联系邮箱:contact@dataunion.org。转载数盟网站文章请注明原文章作者,否则产生的任何版权纠纷与数盟无关。
期待你一针见血的评论,Come on!

不用想啦,马上 "登录"  发表自已的想法.