6）K-均值（K-means）算法

K-均值算法是输入聚类个数k，以及包含 n个数据对象的数据库，输出满足方差最小标准 k（k

k-means 算法的工作过程说明如下：首先从n个数据对象任意选择 k 个对象作为初始聚类中心，而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距离），分别将它们分配给与其最相似的聚类，然后再计算每个所获新聚类的聚类中心（该聚类中所有对象的均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都采用均方差作为标准测度函数. k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。

从算法的表现上来说，它并不保证一定得到全局最优解，最终解的质量很大程度上取决于初始化的分组。由于该算法的速度快，因此常用的一种方法是多次运行k平均算法，选择最优解。

机器学习是继神经网络系统之后人工智能应用的又一重要研究领域，也是人工智能和神经网络计算的核心研究课题。对机器学习的研究及其进展，必将促使人工智能和整个科学技术的进一步发展。

遗传算法

遗传算法(Genetic Algorithms)，也有人把它叫作进化算法(Evolutionary Algorithms)，是基于生物进化的“物竞天择，适者生存”理论发展起来的一种应用广泛且高效随机搜索与优化并举的智能算法，其主要特点是群体搜索策略和群体中个体之间的信息交换，不依赖于问题的梯度信息。遗传算法最初被研究的出发点不是为专门解决最优化问题而设计的，它与进化策略、进化规划共同构成了遗传算法的主要框架，都是为当时人工智能的发展服务的。迄今为止，遗传算法是智能计算中最广为人知的一种算法。

遗传算法就是模拟自然界进化论的基本思想，可以很好地用于优化问题，若把它看作对自然过程高度理想化的模拟，更能显出它本身的优雅与应用的重要。该算法以一个群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选择、杂交和变异构成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五要素组成了遗传算法的核心内容。作为一种新的全局优化搜索算法，遗传算法以其简单通用、健壮性强、适于并行处理以及高效、实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为重要的智能算法之一。

近几年来，遗传算法主要在复杂优化问题求解和工业工程领域应用等方面，取得了一些令人信服的结果，所以引起更多人的关注。

要想进一步的了解遗传算法，当然要先了解遗传、进化及其有关的一些概念和知识，下面就对其进行一些简单介绍。作为遗传算法生物背景的介绍，了解下面的一些概念及内容也就够了。

个体：组成种群的单个生物；

种群：生物进化以群体的形式进行，这样的一个群体称为种群；

基因：DNA长链结构中占有一定位置的基本遗传单位，也叫遗传因子；

基因DNA、RNA片段(摘自互联网)

染色体：是生物细胞中含有的一种微小的丝状物，是遗传物质的主要载体，由多个遗传基因组成；

遗传：新个体会遗传父母双方各自一部分的基因，承现出亲子之间以及子代个体之间性状相似性，表明性状可以从亲代传递给子代；

变异：亲代和子代之间、子代和子代的不同个体之间总会存在一些差异，这种现象称为变异；变异是随机发生的，变异的选择和积累是生命多样性的根源；

进化：生物在其延续生命的过程中，逐渐适应其生存环境使得其品质不断得到改良，这种生命现象称为进化；生物的进化是以种群的形式进行的；

生存竞争，适者生存：生物的繁殖过程，会发生基因交叉、基因突变，适应度低的个体会被逐步淘汰，而适应度高的个体会越来越多；这样经过多代的自然选择后，保存下来的都是适应度很高的个体，其中很可能包含史上产生的适应度最高的那些个体。

遗传算法是解决搜索问题的一种通用算法，各种各样、类型不同的问题都可以使用。遗传算法的共同特征有： ① 首先组成一组候选解； ② 依据某些适应性条件测算这些候选解的适应度； ③ 根据适应度保留某些优良候选解，放弃其中欠佳的部分候选解； ④ 对保留的候选解进行某些操作，生成新的候选解。在遗传算法中，上述几个特征以一种特殊的方式组合在一起，如基于染色体群的并行搜索，带有猜测性质的选择操作、交换操作和突变操作。这种特殊的组合方式将遗传算法与其它搜索算法区别开来。

除上述共同特征外，遗传算法还具有以下几方面的特点：

(1) 遗传算法从问题解的串集中开始搜索，而不是从单个解开始，这是遗传算法与传统优化算法的最大区别。传统优化算法是从单个初始值迭代求最优解，容易误入局部最优解。遗传算法从串集开始搜索，覆盖面大，利于全局择优。

(2) 许多传统搜索算法都是单点搜索算法，容易陷入局部的最优解。遗传算法同时处理群体中的多个个体，即对搜索空间中的多个解进行评估，减少了陷入局部最优解的风险，同时算法本身易于实现并行化。

(3) 遗传算法基本上不用搜索空间的知识或其它辅助信息，而仅用适应度函数值来评估个体，在此基础上进行遗传操作。适应度函数不仅不受连续、可微等的约束，而且其定义域可以任意设定。这一特点使得遗传算法的应用范围得到很大扩展。

(4) 遗传算法不是采用确定性规则，而是采用概率的变迁规则来指导它的搜索方向。

(5) 具有自组织、自适应和自学习等特性。遗传算法利用进化过程获得的信息自行组织搜索时，硬度大的个体具有较高的生存概率，并获得更适应环境的基因结构。

遗传算法以一个群体中的所有个体为对象，利用随机化技术对编码参数空间进行高效搜索，把选择、杂交和变异等遗传现象构成遗传操作。作为一种全局优化搜索算法，遗传算法不考虑函数本身是否连续、是否可微等性质，以其简单通用、健壮性强和高效、实用、隐含并行性、容易找到“全局最优解”等显著特点，在许多领域得到成功应用，成为一种重要的智能算法。

上面的描述是简单的遗传算法模型，可由此给出下面的遗传算法流程图，再加延伸，可以在这一基本型上进行改进和发展，形成诸多不同类别的遗传算法，使其在科学和工程领域得到更广泛的应用。

遗传算法流程图

上面遗传算法流程图中有六个重要的环节：

（1）编码和初始群体的生成：遗传算法在进行搜索之前先将解空间的解数据表示成遗传空间的基因型串结构数据，这些串结构数据的不同组合便构成了不同的点。然后随机产生N个初始串结构数据，每个串结构数据称为一个个体， N个体构成了一个群体。遗传算法以这N个串结构数据作为初始点开始迭代。当然，初始群体应该选取适当，如果选取的过小则杂交优势不明显，算法性能很差，群体选取太大则计算量会过大。

（2）检查算法收敛准则是否满足，控制算法是否结束，也可以采用判断与最优解的适配度或者选定一个迭代次数来结束计算。

（3）适应度评估选择和检测：适应性函数表明个体或解的优劣性，在程序的开始也应该评价适应性，以便和以后的做比较。不同的问题，适应性函数的定义方式也不同。根据适应性的好坏，进行选择。选择的目的是为了从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖子孙。遗传算法通过选择过程体现这一思想，进行选择的原则是适应性强的个体为下一代贡献一个或多个后代的概率大。选择实现了达尔文的适者生存原则。

（4）选择:将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。

（5）杂交：按照杂交概率进行杂交。杂交操作是遗传算法中最主要的遗传操作。通过杂交操作可以得到新一代个体，新个体组合了其父辈个体的特性。杂交体现了信息交换的思想。

可以选定一个点对染色体串进行互换，插入，逆序等杂交，也可以随机选取几个点杂交。杂交概率如果太大，种群更新快，但是高适应性的个体很容易被淹没，概率小了搜索会停滞。

（6）变异：按照变异概率进行变异。变异首先在群体中随机选择一个个体，对于选中的个体以一定的概率随机地改变串结构数据中某个串的值。同生物界一样，遗传算法中变异发生的概率很低，但为新个体的产生提供了机会。

变异可以防止有效基因的缺损造成的进化停滞。比较低的变异概率就已经可以让基因不断变更，太大了会陷入随机搜索。不难想象一下，生物界每一代都和上一代差距很大，会出现是怎样一种可怕的情形。

就像自然界的变异适和任何物种一样，对变量进行了编码的遗传算法没有考虑函数本身是否可导，是否连续等性质，所以适用性很强；并且，它开始就对一个种群进行操作，隐含了并行性，也容易找到“全局最优解”。

由上面遗传算法流程图不难看出，遗传算法提供了一种求解复杂系统优化问题的通用框架，计算时不依赖于梯度信息或其它辅助知识，而只需要影响搜索方向的目标函数和相应的适应度函数，不依赖于问题的具体领域，对问题的种类有很强的稳健性，可广泛应用于很多学科。下面是遗传算法的一些主要应用领域。

（1）函数优化：函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用算例，特别是对于一些非线性、多模型、多目标的函数优化问题，用其他优化方法较难求解，而遗传算法却可以方便地得到较好的结果；（2）组合优化：随着问题规模的增大，组合优化问题的搜索空间也急剧扩大，实践证明，遗传算法已经在求解旅行商问题、背包问题、装箱问题、布局优化、图形划分问题等各种具有NP难度的问题中得到成功的应用；（3）生产调度问题：车间调度问题是一个典型的NP问题,从最初的传统车间调度问题到柔性作业车间调度问题，遗传算法都有优异的结果显示，在很多算例中都得到了最优解或近优解；（4）自动控制；（5） 机器人学；（6） 图像处理；（7）人工生命；（8）遗传编程；（9）机器学习；（10）数据挖掘等。

随着应用领域的扩展，遗传算法的研究出现了几个引人注目的新动向：（1）基于遗传算法机器学习，这一新的研究课题把遗传算法从历来离散的搜索空间的优化搜索算法扩展到具有独特的规则生成功能的机器学习算法。这一新的学习机制对于解决人工智能中知识获取和知识优化精炼的瓶颈难题带来了希望。（2）遗传算法正日益和神经网络、模糊推理以及混沌理论等其它智能计算方法相互渗透和结合，这对开拓21世纪中新的智能计算技术将具有重要的意义。（3）并行处理的遗传算法的研究十分活跃。这一研究不仅对遗传算法本身的发展，而且对于新一代智能计算机体系结构的研究都是十分重要的。（4）遗传算法和另一个称为人工生命的崭新研究领域正不断渗透。所谓人工生命即是用计算机模拟自然界丰富多彩的生命现象，其中生物的自适应、进化和免疫等现象是人工生命的重要研究对象，而遗传算法在这方面将会发挥一定的作用，（5）遗传算法和进化规划以及进化策略等进化计算理论日益结合。它们几乎是和遗传算法同时独立发展起来的，同遗传算法一样，它们也是模拟自然界生物进化机制的智能算法，即同遗传算法具有相同之处，也有各自的特点。目前，这三者之间的比较研究和彼此结合的探讨正形成热点。

进入二十一世纪，遗传算法迎来了兴盛发展时期，无论是数学理论研究、计算机硬件研发还是应用研究都成了十分热门的课题，尤其是遗传算法的应用研究显得格外活跃，不但它的应用领域扩大，而且利用遗传算法进行优化和规则学习的能力也显著提高。此外一些新的理论和方法在应用研究中亦得到了迅速的发展，这些无疑均给遗传算法增添了新的活力。遗传算法的应用研究已从初期的组合优化求解扩展到了许多更新、更工程化的应用方面，同样也会取得更多新的突破，使得遗传算法的研究更上一层楼。

模糊计算

人们常用“模糊计算”（Fuzzy Computing）笼统地代表诸如模糊系统、模糊语言、模糊推理、模糊逻辑、模糊控制、模糊遗传和模糊聚类等模糊应用领域中所用到的诸多算法及其理论。在这些应用系统中，广泛地应用了模糊集理论，并揉和了人工智能的其他手段，因此模糊计算也常常与人工智能相联系。由于模糊计算可以表现事物本身性质的内在不确定性，因此它可以模拟人脑认识客观世界的非精确、非线性的信息处理能力和亦此亦彼的模糊概念和模糊逻辑。

概念是人类思维的基本形式之一，它反映了客观事物的本质特征。一个概念有它的内涵和外延，内涵是指该概念所反映的事物本质属性的总和，也就是概念的内容；外延是指一个概念所确指的对象的范围。例如“人”这个概念的内涵是指能制造工具，并使用工具进行劳动的动物，外延是指古今中外一切的人。在生产实践、科学实验以及日常生活中，人们经常会遇到诸多模糊概念，如大与小、轻与重、快与慢、动与静、深与浅、美与丑等都包含着一些模糊概念。

美国数学家、控制论专家L.A.Zadeh博士于1965年发表了关于模糊集的论文，首次提出了表达事物模糊性的重要概念——隶属函数(Membership Function)。这篇论文把元素对集的隶属度从原来的非0即1推广到可以取区间[0，1]的任何值，这样用隶属度定量的描述论域中元素符合论域概念的程度，实现了对普通集合的扩展，从而可以用隶属函数表示模糊集。模糊集理论构成了模糊计算系统的基础，人们在此基础上把人工智能中关于知识表示和推理的方法引入进来，或者说把模糊集理论用到知识工程中去就形成了模糊逻辑和模糊推理。为了克服这些模糊系统知识获取的不足及学习能力低下的缺点，又把神经网络计算加入到这些模糊系统中，形成了模糊神经系统。这些研究都成为人工智能研究的热点，因为它们表现出了许多领域专家才具有的能力。同时，这些模糊系统在计算形式上一般多以数值计算为主，也通常被人们归为软计算、智能计算的范畴。

模糊计算在应用上可一点都不模糊，其应用范围非常广泛，它在家电产品中的应用已被人们所接受，如模糊洗衣机、模糊冰箱、模糊相机等。另外，在专家系统、智能控制等许多系统中，模糊计算也都能大显身手，其原因就在于它的工作方式与人类的认知过程有着极大的相似性。

模糊数学（Fuzzy Mathematics），研究现实中许多界限不分明问题的一种数学工具，已广泛应用于模糊控制、模糊识别、模糊聚类分析、模糊决策、模糊评判、系统理论、信息检索、医学、生物学等各个方面。然而模糊数学最重要的应用领域是计算机智能，不少人认为它与新一代计算机的研发有着极其密切的联系。模糊数学基本概念之一是模糊集合，利用模糊集合、模糊矩阵、模糊运算和模糊逻辑等，能很好地处理各个不同领域应用中的模糊问题。

按照经典集合的理论，每一个集合必须由确定的元素构成，元素之于集合的隶属关系是明确的，这一性质可以用特征函数μA(x)来表示，即有：

模糊数学把特征函数改写成所谓的“隶属函数μA(x)：0≤μA(x)≤1”，在这里A被称为模糊集合，μA(x)为隶属度。经典集合论要求μA(x)取0或1两个值，模糊集合则突破了这一限制，μA(x)=1表示百分之百隶属于模糊集合A，μA(x)=0表示完全不属于模糊集合A，还可以有20%隶属于模糊集合A，80%隶属于模糊集合A，等等，即可取[0，1]区间内的任意值。由于人脑的思维包括精确的和模糊的两个方面，因此模糊数学在人工智能系统模拟人类思维的过程中起到了重要作用，它与新型的计算机设计和许多模糊计算密切相关。

模糊数学的基本思想是隶属度，应用模糊数学建立数学模型的关键是建立符合实际的隶属函数。如何确定一个模糊集的隶属函数至今还是尚未得到很好解决的问题。常用的确定隶属函数的方法有模糊统计法、指派法、专家经验法、二元对比排序法及根据问题的实际意义来确定的方法等。模糊统计方法是一种客观方法，主要是在模糊统计试验的基础上根据隶属度的客观存在性来确定的；指派方法主要依据人们的实践经验来确定某些模糊集隶属函数的一种方法；在实际应用中，用来确定模糊集的隶属函数的方法是多种多样的，主要根据问题的实际意义来确定。譬如，在经济管理、社会管理中，可以借助于已有的“客观尺度”作为模糊集的隶属度。

由于模糊性概念已经找到了模糊集的描述方式，人们运用概念进行判断、评价、推理、决策和控制的过程也可以用模糊性数学的方法来描述。这些方法构成了一种模糊性系统理论，构成了一种思辨数学的雏形，已经在医学、气象、心理、经济管理、石油、地质、环境、生物、农业、林业、化工、语言、控制、遥感、教育、体育等方面取得多方面具体的研究和应用成果。

模糊理论（Fuzzy Theory）是指用到了模糊集合的基本概念或连续隶属度函数的理论，可分为模糊数学，模糊系统，不确定性和信息，模糊决策，模糊逻辑与人工智能众多分支，它们并不是完全独立的，之间存在着紧密的联系，例如，模糊控制就会用到模糊数学和模糊逻辑中的概念。从实际应用的观点来看，模糊理论的应用大部分集中在模糊系统上，尤其集中在模糊控制上，也有一些模糊专家系统应用于医疗诊断和决策支持。

模糊概念(Fuzzy Concept)是指这个概念的外延具有不确定性，或者说它的外延是不清晰的，是模糊的。例如“青年”这个概念，它的内涵我们是清楚的，但是它的外延，即什么样的年龄阶段内的人是青年，恐怕就很难说情楚，因为在“年轻”和“不年轻”之间没有一个确定的边界，这就是一个模糊概念。需要注意的几点：首先，人们在认识模糊性时，是允许有主观性的，也就是说每个人对模糊事物的界限不完全一样，承认一定的主观性是认识模糊性的一个特点。例如，我们让100个人说出“年轻人”的年龄范围，那么我们将会得到数十个不同的答案。尽管如此，当我们用模糊统计的方法进行分析时，年轻人的年龄界限分布又具有一定的规律性；其次，模糊性是精确性的对立面，但不能消极地理解模糊性代表的是落后的事物，恰恰相反，我们在处理客观事物时，经常借助于模糊性。例如，在一个有许多人的房间里，找一位“年老的高个子男人”，这是不难办到的。这里所说的“年老”、“高个子”都是模糊概念，然而我们只要将这些模糊概念经过头脑的分析判断，很快就可以在人群中找到此人。如果我们要求用计算机查询，那么就要把所有人的年龄，身高的具体数据输入计算机，然后我们才可以从人群中找这样的人。最后，人们对模糊性的认识往往同随机性混淆起来，其实它们之间有着根本的区别。随机性是其本身具有明确的含义，只是由于发生的条件不充分，而使得在条件与事件之间不能出现确定的因果关系，从而事件的出现与否表现出一种随机性。而事物的模糊性是指我们要处理的事物的概念本身就是模糊的，即一个对象是否符合这个概念难以确定，也就是由于概念外延模糊而带来的不确定性。

模糊逻辑(Fuzzy Logic)不是二元逻辑——非此即彼的推理，也不是传统意义的多值逻辑，而是在承认事物隶属真值中间过渡性的同时，还认为事物在形态和类属方面具有亦此亦彼性、模棱两可性——模糊性。模糊逻辑善于表达界限不清晰的定性知识与经验，它借助于隶属度函数概念，区分模糊集合，处理模糊关系，模拟人脑实施规则型推理，解决因“排中律”的逻辑破缺产生的种种不确定问题。模糊逻辑模仿人脑的不确定性概念判断、推理思维方式，对于模型未知或不能确定的描述系统，以及强非线性、大滞后的控制对象，应用模糊集合和模糊规则进行推理，表达过渡性界限或定性知识经验，模拟人脑方式，实行模糊综合判断，推理解决常规方法难于对付的规则型模糊信息问题。

模糊系统(Fuzzy System)基于模糊数学理论,能够对事物进行模糊处理。在模糊系统中,元素与模糊集合之间的关系是不确定的,即在传统集合论中元素与集合“非此即彼”的关系不适合模糊逻辑。元素与模糊集合的隶属关系是通过隶属度函数来度量的。当一个元素确定属于某个模糊集合,则这个元素对该模糊集合的隶属度为1;当这个元素确定不属于该模糊集合时,则此时的隶属度值为0;当无法确定该元素是否属于该模糊集合时,隶属度值为一个属于0到1之间的连续数值。模糊系统能够很好处理人们生活中的模糊概念,清晰地表达知识,而且善于利用学科领域的知识,具有很强的推理能力。模糊系统主要应用在自动控制、模式识别和故障诊断等领域并且取得了令人振奋的成果,但是大多数模糊系统都是利用已有的专家知识,缺乏自学习能力,无法对自动提取模糊规则和生成隶属度函数。针对这一问题,可以通过与神经网络算法、遗传算法等自学习能力强的算法融合来解决。目前,很多学者正在研究模糊神经网络和神经模糊系统,这是对传统算法研究和应用的创新。

把模糊概念和一些传统算法及智能算法结合起来，形成了一大批的模糊算法，下面简举几例。

模糊遗传算法(Fuzzy Genetic Algorithm)是指基于模糊逻辑的遗传算法，是当前遗传算法发展的一个新方向。它充分利用了人们对遗传算法已有的知识和经验，并且修正和完善了这些经验，有助于对遗传算法的遗传算子及参数设置与遗传算法性能关系的理解；同时在遗传算法运行过程中，实现了对遗传算法参数或算子的动态调整，保证了整个遗传算法搜索过程中合理的利用性和探索性关系。把模糊逻辑用于遗传算法，是从两个方面着手的：一方面，把已有的关于遗传算法的知识和经验用模糊语言来描述，并用于在线控制遗传操作和参数设置，形成动态遗传算法；另一方面，借鉴模糊逻辑及模糊集合运算的思想，得到模糊编码和相应模糊遗传操作，以改进遗传算法的性能。

模糊聚类算法(Fuzzy Cluster Algorithm)是一种采用模糊数学语言对事物按一定的要求进行描述和分类的数学方法，一般是指根据研究对象本身的属性来构造模糊矩阵，并在此基础上根据一定的隶属度来确定聚类关系，即用模糊数学的方法把样本之间的模糊关系定量的确定，从而客观且准确地进行聚类。聚类就是将数据集分成多个类或簇，使得各个类之间的数据差别应尽可能大，类内之间的数据差别应尽可能小，即为“最小化类间相似性，最大化类内相似性”原则。聚类分析是数理统计中的一种多元分析方法，它是用数学方法定量地确定样本的亲疏关系，从而客观地划分类型。事物之间的界限，有些是确切的，有些则是模糊的。例人群中的面貌相像程度之间的界限是模糊的，天气阴、晴之间的界限也是模糊的。当聚类涉及事物之间的模糊界限时，需运用模糊聚类分析方法。模糊聚类分析广泛应用在气象预报、地质、农业、林业等方面。通常把被聚类的事物称为样本，将被聚类的一组事物称为样本集。模糊聚类分析有两种基本方法：系统聚类法和逐步聚类法。

模糊数学及其计算的产生不仅拓广了经典数学的基础，而且也是计算机科学向人们的自然机理方面发展的重大突破。它在科学技术、经济发展和社会学等问题的广泛应用领域中显示了巨大的力量，虽然发展的历史并不很长，但已被国内外数学界以及信息、系统、计算机和自动控制科技界人员的普遍关注，具有极其广阔应用前景。

群智能计算

群智能计算(Swarm Intelligence Computing)，又称群体智能计算或群集智能计算，是指一类受昆虫、兽群、鸟群和鱼群等的群体行为启发而设计出来的具有分布式智能行为特征的一些智能算法。群智能中的“群”指的是一组相互之间可以进行直接或间接通信的群体；“群智能”指的是无智能的群体通过合作表现出智能行为的特性。智能计算作为一种新兴的计算技术，受到越来越多研究者的关注，并和人工生命、进化策略以及遗传算法等有着极为特殊的联系，已经得到广泛的应用。群智能计算在没有集中控制并且不提供全局模型的前提下，为寻找复杂的分布式问题的解决方案提供了基础。