文献计量视角下的神经网络发展轨迹研究

〔摘要〕神经网络是涉及生物、计算机、数学、电子、物理、心理学、认识科学等多个学科领域的一门边缘性交叉学科。本文综合运用文献计量学的方法将神经网络划分为探索期、成长期和快速发展期3个时期，指出当前正是神经网络发展的快速成长期，同时利用可视化软件分析其演化发展过程、学科结构等方面的内容，为了解和掌握这些内容提供了独特的视角和知识。

〔关键词〕文献计量学；可视化；

神经网络

收稿日期：2011－04－20

基金项目：本文受“863”课题2010AA5221资助

DOI：10．3969／j．issn．1008－0821．2011．08．026

〔中图分类号〕G250.252 〔文献标识码〕A 〔文章编号〕1008－0821（2011）08－0103－06

Research on the Path of Neural Network Based on Bibliometric

Zhou Yangming Shui Chao Sun Zhixin Huang Qiang

（College of Information Management，National University of Defense Technology，Changsha 410073，China）

〔Abstract〕The neural network is involved in biology,computer,mathematics,electronics,physics,psychology,cognitive science and other disciplines,its an interdisciplinary marginal.This paper used bibliometric methods to divide the neural network into three periods:exploring,growth and rapid development,and pointed out that the current neural network is in rapid development period.It also used the visualization software to analyze the evolution process of development,the subject structure,and so on.It offer an unique perspective and knowledge to understand and master the content neural network.

〔Key words〕bibliometrics;visualization;neural network

神经网络是涉及生物、计算机、数学、电子、物理、心理学、认识科学等多个学科领域的一门边缘性交叉学科，从神经网络的形成到现在的80多年中，不断推动着一大批相关学科的发展。本文运用文献计量的方法对神经网络的发展历程进行再回顾和再分析，将神经网络划分为诞生期、成长期和快速发展期，利用可视化分析、共引分析、词频分析等方法揭示神经网络发展的学科结构、影响程度、关键节点与时间点等重要而独特的知识，为了解和掌握神经网络的发展与演化过程提供了独特视角。

1 数据来源

SCI（Science Citation Index）是美国科学情报研究所ISI（Institute for Science Information）出版的期刊文献检索工具，所收录的文献覆盖了全世界最重要和最有影响力的研究成果，成为世界公认的自然科学领域最为重要的评价工具，并于1997年利用互联网的开放环境，将SCI、SSCI（Social Science Citation Index）、A&HCI（Art & Humanities Citation Index）整合，创建了网络版的多学科引文数据库——Web of Science。本文以Web of Science中的SCI数据库为数据来源，选用高级检索方式，以“Neural Network”和“Neural Networks”为主题词，逻辑关系选择“OR”，检索时间设置为1900－2010年（数据库更新日期2011年3月30日），一共检索到86 863篇相关文献记录。表示2010年以前文献发表年度变化情况，关于神经网络的论文是从1956年的1篇增加到2010年的7 119篇（1956年以前的数据均为0），总体呈现上升趋势。图中虚线是根据论文数量变化情况的分割线，将神经网络的发展史划分为3个时期——探索期、成长期和快速发展期，目前正处于快速发展时期。

2 坎坷探索期（1943-1985年）

利用基于JAVA平台的引文分析可视化软件CitespaceⅡ，首先设定时间跨度为1956-1985年，时间切片长度为3年，聚类方式为共被引聚类（Cited Reference），阈值选择为（2，2，20）、（2，2，20）、（2，2，20）。Citespace得出这些引文的时间跨度为1943－1985年，从而绘制出该时间段的神经网络论文时区分布图。

可以划分为3个聚类。A1聚类中有2个节点明显的节点，其中第1个代表了1943年《A Logical Calculus of the Ideas Immanent in Nervous Activity》［1］的发表，该文中心理学家McCulloch和数学家Pitts合作提出的神经元的形式化模型，建立了阈值加权和模型（MP模型），拉开了神经网络研究的序幕。其后，心理学家D.O.Hebb在1949年发表《The Organization of Behavior》［2］一书中提出神经元突触联系可变假说，即Hebb学习规则，是神经网络学习训练算法的起点。

从20世纪50年代开始，以符号机制（Symbolism）为代表的经典人工智能（Artificial Intelligence，简称AI）形式体系取得了巨大的成功，这样的研究大环境推动着许多专家学者纷纷开始了对神经网络的研究，形成了A2聚类。从图中可以看出，该时期的研究成果大部分集中于1961－1968年，堪称神经网络研究的黄金期。原因在于，1958年，F.Rosenblatt在MP模型的基础上，提出了单级感知机及电子线路模拟，建立了第一个真正的神经网络模型，激发了许多学者对神经网络研究的极大兴趣，形成了神经网络历史上的一次热潮。哈佛大学医学院神经生物学教授D.Hubel对脑部视觉系统的信息处理进行了深入研究，提出了生物神经系统模型，这是神经网络在神经生理学上的应用。意大利科学家Caianiello则在神经元模型中引入了不应期特征，从信息处理的角度研究了自组织性、自稳定性和自调节律。视觉神经专家F.Ratliff将视网膜抑制和抑制解除类比神经系统进行研究。

可是从20世纪60年代末到80年代初图中凸显节点明显减少，说明该时期神经网络研究表现。其原因在于1969年神经网络代表人物的Minsky和Papert在MIT出版了论著《Perceptrons》［3］，对单层神经网络进行了深入分析，并且从数学上证明了它的局限性，指出线性感知机功能是有限的，它不能解决如“异或”这样的简单逻辑运算问题。由于Minsky在人工智能领域的巨大威望和论著中的悲观结论，使得有些学者毫不犹豫地否定了该研究方法。加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，这一切直接导致的后果是，计算机科学界基本放弃了神经网络领域，美国联邦基金取消了支助神经网络方面的研究长达15年之久，前苏联也取消了几项研究计划，从此神经网络的研究处于一个极度困难的“低潮时期”。

然而在10多年的“低潮时期”中，虽然研究的前景不被看好，但仍然有许多重要成果诞生。

A3聚类中的几个节点代表了当时的一些重要研究成果，如日本学者K.Fukushima提出了认知机模型，是目前为止结构上最为复杂的多层网络。1974年，W.A.Little发表的文章《The existence of persistent states in the brain》［4］，指出一些记忆或情感等行为的发生并不一定需要认知过程，而是强调与脑中神经网络有直接关系。Wilson则从数学角度构建了脑神经组织的神经模型。与此同时，适应谐振理论（ART网）、自组织映射等理论也在这个时期初现端倪，为神经网络的再次崛起奠定了坚实基础。

在A3聚类中，图示上方有一个明显的节点，是美国加州工学院物理学家J.Hopfield在1982年发表了重要文章《Neural Networks and Physical Systems With Emergent Collective Computational Abilities》［5］。该文引入了“计算能量”概念，提出Hopfield神经网格模型，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。这一系列论文的发表推翻了Minsky关于感知机无科学价值的判断，标志着神经网络理论产生了重大突破，唤醒了学术界对神经网络研究的兴趣。

3 稳步成长期（1986-2001年）

从1986年开始，神经网络的论文数量明显增多，神经网络研究开始进入稳步成长期。1987年，美国召开第一次神经网络国际会议，宣告了这一新学科的诞生，说明神经网络已经被国际社会所认知，已经完全从“低潮”的阴影下走了出来。在国际上，《Neural Networks》杂志于1988年创刊，《IEEE Transactions on Neural Networks》杂志也在1990年诞生，这些事实表明，神经网络已经步入稳步成长时期。我国也于1990年和1991年召开了两次神经网络学术大会，并成立了中国神经网络学会，这是我国神经网络发展以及走向世界的良好开端，也标志着我国进入了神经网络研究的初级阶段。

时期引文最多的前六篇论文。影响巨大的是1986年D.Rumelhart和J.McClelland领导的PDP研究小组。他们总结了当时神经网络在物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的重要成果，主要致力于认知的微观研究，探讨认知过程的机理，并发表了著作《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》［6］，建立了并行分布处理理论，重新提出了简明有效的误差反传（Error Back-Propagation，BP）算法［7］。一些理论研究成果如雨后春笋般相继诞生，1989年，奥地利维也纳工业大学统计与数学系教授K.Hornik研究了统计计算和数据挖掘，特别是对量化风险管理的应用领域的各种数据进行分析定量；1991年，J.Hertz发表了《Introduction to Theory of Neural Compution》［8］，全面论述了神经计算理论，为神经网络的计算复杂性分析奠定了基础；1989年，G.Cybenko对隐层神经网络的函数逼近能力进行了深入研究，并发表了《Approximation by superpositions of a sigmoidal function》［9］，讨论了非线性可能实施人工神经网络的逼近性质类型。S.Haykin发表了《Neural networks:a comprehensive foundation》［10］一文，则从工程学前景全面论述了神经网络的误差反传学习、径向基函数网络、自组织系统等。这一系列研究成果的诞生促使人工神经网络基础理论走向成熟，导致与之相关的技术及其性能大幅改善。

我们利用ESI学科分类的方法，绘制了这个时期各个学科神经网络论文数量的变化情况。该图说明在1990年后，各学科都致力于神经网络领域的研究，曲线呈明显上升趋势。特别是在工程学方面的论文增长迅速，标志着该研究领域一些技术已经成熟并进入实用阶段。为此，神经网络在20世纪90年代后开始受到各个国家的重视。美国国会通过决议将1990年1月5日开始的10年定为“脑的10年”，日本于1996年制定为期20年的“脑科学时代——

脑科学研究推进计划”。这段时期，各个国家已经将资金大量注入神经网络研究领域。在美国，神经计算机产业在此时期获得军方的强有力支持，仅一项8年神经计算机计划就投资4亿美元。在欧洲共同体的ESPRIT计划中，单是生产神经网络专用芯片这一项就投资2 200万美元。

4 快速发展期（2002年至今）

曲线表明从2002年开始，曲线呈现跃升态势，神经网络的研究进入了突飞猛进的时期。从2002－2010年这9年间的论文总数为54 767篇，占到了全部总数86 863篇的63%。为了研究当前神经网络的热门领域和前沿，利用自编的文献计量软件对近五年（2006-2010年）的34 573篇论文的关键词进行抽取并统计分析这些论文中全部主题词的频次，现列出出现频次最高的30个关键词。

“遗传算法”是最近五年间的研究热点，共出现974次，遗传算法是一种新的全局优化搜索算法，具有简单通用、适于并行处理等显著特点，已经成为了关键智能算法之一。“功能核磁共振成像技术”出现频次为701次，使人们可以在无创伤的条件下了解脑的组织结构和相应组织结构的基本功能，观察在一定思维状态下究竟哪些脑组织参与活动［11］。“支持向量机”一词出现频次是688次，它是基于统计学习理论的一种新的机器学习技术，很好的解决了小样本学习的问题。“模拟”出现了512次，体现了脑模拟研究的基础地位。

通过定性分析，我们可以聚类图分为A、B两个大类群，分别代表脑模拟研究和脑科学研究。A类群表示以人的大脑（如学习和记忆能力）为模拟对象，而抽象出的工作原理、算法及模拟应用；B类群表示脑的结构和功能的科学研究，主要包括对海马体、前额叶皮层等脑结构的研究，以及对记忆、精神分裂等脑的认知行为和过程研究，这些都是目前脑神经网络的热门研究方向。

当前，以脑模拟为目标的人工神经网络已经取得了重大进展。根据A类群聚类分析结果，分析各类关键词之间的语义关系，可以划分为4个子群，代表目前该研究领域的研究热点，包括：

Ⅰ群：基础应用研究。此群表明了人工神经网络的主要应用范围和领域，主要包括决策树、数据挖掘、机器学习、退火算法、聚类、模拟等。

Ⅱ群：基础算法研究。此群表明了人工神经网络的基础算法，主要涉及模糊神经网络和遗传算法。其中模糊神经网络自1993年被提出的，是将Mamdani模糊模型和多层前向网络相结合的一种算法，成为智能控制研究领域的一个活跃的分支。遗传算法是基于全局搜索的非线性反演方法，通过群体搜索策略使个体之间在群体内进行信息交换。这两种算法都具有方法简单、普遍适应的特性。

Ⅲ群：基于时间序列的行为预测算法研究。行为预测算法是数据挖掘中的一类典型问题，大量研究表明，神经网络预测优于统计预测，目前已被广泛应用在经济、气象、通信、医疗等领域。

Ⅳ群：神经网络的互联结构研究。此群表明了人工神经网络的基础理论，包括神经网络的稳定性、紊乱度、同步、识别等。当神经网络应用于解决最优化问题时，由于神经之间进行通讯传播的时滞会影响神经系统的动力学行为［12］，因此，必须要确定平衡点的存在惟一性和平衡点的稳定性，包括了神经网络模型的全局渐近稳定性、指数稳定性以及鲁棒稳定性等一系列问题，是神经网络结构研究的基础研究方向。

Ⅴ群：代表了当前一些较为独立的研究领域，包括反馈神经网络、误差反传神经网络、概率神经网络、自组织映射等。其中反馈神经网络的突出特点是具有联想记忆功能，跟人脑的工作方式很相似。误差反传网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。概率神经网络是基于密度函数估计和贝叶斯决策理论而建立的一种分类网络，它的拓扑结构简单，容易设计算法，广泛应用于模式识别及模式分类领域。自组织映射在聚类领域被广泛使用，其在可视化领域的应用也是研究的热点，实现了对高维数据的把握。

5 结束语

本文采用文献计量方法和可视化工具，利用SCI数据库中反映神经网络主题的文献进行统计，分3个时期对神经网络的发展以及热门研究方向进行了直观的描述，客观的反映了神经网络的发展历程，从而对神经网络的发展轨迹有更加清晰的认识。从发展前景来看，当前研究分为脑神经网络研究和人工神经网络研究两个方面。其中脑神经网络研究重点研究了脑结构及其认知过程，形成了“脑结构的认知机理”研究这一重要研究方向。在人工神经网络方面，部分理论和技术已经成熟，并已经渗透到语音识别、图像识别与理解、智能机器人、企业管理、市场分析、决策优化、物资调运自适应控制、专家系统、智能接口等领域中，应用前景十分广泛。

参考文献

［1］McCulloch W S,Pitts W H.A Logical Calculus of the Ideas Immanent in Nervous Activity［J］.Bulletin of Mathematical Biophysics,1943，(5).

［2］Hebb D O.The Organization of Behavior［M］.New York:John Wiley,1949.

［3］Minsky M,Papert S.Perceptrons［M］.Cambridge:MIT Press,1969.

［4］Little.The existence of persistent states in the brain［J］.Mathematical Biosciences,1974.

［5］Hopfield J J.Neural Networks and Physical Systems With Emergent Collective Computational Abilities.In:Proceeding of National Academy of Science,USA,1982：

79.

［6］Rumelhart,McClelland.Parallel Distributed Processing:Explorations in the Microstructure of Cognition［M］.1986.1&2.

［7］冯天瑾.智能学简史［M］.北京:科学出版社,2007.

［8］Hertz,Introduction to Theory of Neural Compution［J］.Complexity Science Series,1991.

［9］CYBENKO.Approximation by superpositions of a sigmoidal function［J］.Mathematics of Control,Signals,and Systems,1989.2.

［10］HAYKIN,Neural networks:a comprehensive foundation［M］.1994.

［11］中国人工智能学会.2009-2010年智能科学与技术科学发展报告［M］.北京:中国科学技术出版社,2010.

［12］崔萍.一类具有时滞的Cohen-Grossberg神经网络的稳定性［J］.楚雄师范学院学报,2010，25(12):3.

推荐访问:神经网络 视角 计量 轨迹 文献