模式识别与机器学习概述

模式识别与机器学习的研究

目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。
Y = F(X)

• X的定义域取自特征集
• Y的值域为类别的标号集
• F是模式识别的判别方法

机器学习利用大量的训练数据可以获得更好的预测结果。

什么是机器学习？

研究如何构造理论、算法和计算机系统，让机器通过从数据中学习后可以进行如下工作：分类和识别事物、推理决策、预测未来等。

模式识别系统的目标：在特征空间和解释空间之间找到一种映射关系，这种映射也称之为假说。

特征空间：从模式得到的对分类有用的度量、属性或基元构成的空间。
解释空间：将c个类别表示为 $ \omega_i\in\Omega,i=1,2,3…c $
其中$\Omega$为所属类别的集合，称为解释空间。

机器学习的目标：针对某类任务T，用P衡量性能，根据经验来学习和自我完善，提高性能。

假说的两种获取方式

1. 监督学习、概念驱动或归纳假说：在特征空间中找到一个与解释空间的结构相对应的假说。在给定模式下假定一个解决方案，任何在训练集中接近目标的假说也都必须在“未知”的样本上得到近似的结果。

• 依靠已知所属类别的训练样本集，按它们特征向量的分布来确定假说(通常为一个判别函数)，在判别函数确定之后能用它对未知的模式进行分类；
• 对分类的模式要有足够的先验知识，通常需要采集足够数量的具有典型性的样本进行训练。

2. 非监督学习、数据驱动或演绎假说：在解释空间中找到一个与特征空间的结构相对应的假说。这种方法试图找到一种只以特征空间中的相似关系为基础的有效假说。

• 在没有先验知识的情况下，通常采用聚类分析方法，基于“物以类聚”的观点，用数学方法分析各特征向量之间的距离及分散情况；
• 如果特征向量集聚集若干个群，可按群间距离远近把它们划分成类；
• 这种按各类之间的亲疏程度的划分，若事先能知道应划分成几类，则可获得更好的分类结果。

模式识别系统的基础构成

模式识别系统的组成单元

数据获取：用计算机可以运算的符号来表示所研究的对象

• 二维图像：文字、指纹、地图、照片等
• 一维波形：脑电图、心电图、季节震动波形等
• 物理参量和逻辑值：体温、化验数据、参量正常与否的描述

预处理单元：去噪声，提取有用信息，并对输入测量仪器或其它因素所造成的退化现象进行复原

特征提取和选择：对原始数据进行变换，得到最能反映分类本质的特征

• 测量空间：原始数据组成的空间
• 特征空间：分类识别赖以进行的空间
• 模式表示：维数较高的测量空间->维数较低的特征空间

分类决策：在特征空间中用模式识别方法把被识别对象归为某一类别

基本做法：在样本训练集基础上确定某个判决规则，使得按这种规则对被识别对象进行分类所造成的错误识别率最小或引起的损失最小。

机器学习的基础构成

环境：是系统的工作对象（包括外界条件），代表信息来源。

• 信息水平：相对于执行环节要求而言，由学习环节消除差距
• 信息质量：实例示教是否正确、实例次序是否合理等

知识库：存储学习到的知识

• 知识的表示要合理
• 推理方法的实现不要太难
• 存储的知识是否支持修改（更新）

学习环节：是系统的核心模块，是和外部环境的交互接口。

• 对环境提供的信息进行整理、分析、归纳或类比，生成新的知识单元，或修改知识库。
• 接收从执行环节来的反馈信号，通过知识库修改，进一步改善执行环节的行为。

执行：根据知识库执行一系列任务

• 把执行结果或执行过程中获得的信息反馈给学习环节

模式识别的实例

在传送带上用光学传感器件对鱼按品种分类

• 数据获取：架设一个摄像机，采集一些样本图像，获取样本数据

• 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开

• 特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量

  • 长度
  • 亮度
  • 宽度
  • 鱼翅的数量和形状
  • 嘴的位置，等等 …

• 分类决策：把特征送入决策分类器