机器学习-概念学习 PPT

### 机器学习之概念学习详解 #### 一、引言 机器学习中的概念学习是一种重要的学习方式，它涉及从特定的训练样例中提取出一般性的概念或规则。这一过程通常被视为从训练样本中推导出能够应用于更广泛场景的通用函数——这是学习的核心问题。在概念学习中，“概念”可以被理解为一个对象或事件的集合，它是从更大的集合中选择的一个子集，或者是在这个较大集合中定义的一个布尔函数。 #### 二、概念学习的基本框架 **概念学习问题的定义**： - **给定**：一个样例集合及其对应的标签（即每个样例是否属于某个概念的标注）。 - **目标**：推断出该概念的一般定义。这一过程也被称为从样例中逼近布尔函数。 - **本质**：概念学习旨在根据关于某个布尔函数的输入输出训练样例来推断出该布尔函数。 **概念学习视角**： - 从搜索的角度来看，概念学习可以视为在预定义的假设空间中搜索假设，以实现与训练样例的最佳匹配。 - 利用假设空间的偏序结构有助于更好地理解和优化搜索过程。 #### 三、概念学习的具体任务 **示例**：假设我们的目标是预测某人Aldo是否会享受水上运动，我们可以通过分析天气等条件来预测其行为。 - **目标概念**：布尔函数`EnjoySport`，用于预测某一天Aldo是否会进行水上运动。 - **任务**：基于某天的特征（如天气预报、水温、风力等），预测`EnjoySport`的值。 - **样例集**：每个样例由一系列属性组成，例如天气情况、温度等。 **样例集示例**： | EnjoySport | Forecast | Water | Wind | Humidity | AirTemp | Sky | |------------|----------|-------|------|----------|---------|-----| | Yes | Change | Cool | Strong | High | Warm | Sunny | | Yes | Change | Warm | Strong | High | Cold | Rainy | | Yes | Same | Warm | Strong | High | Warm | Sunny | | Yes | Same | Warm | Strong | Normal | Warm | Sunny | **假设的表示形式**： - 假设可以采用多种表示方式，在这里采用的是属性约束的合取式表示法。 - 每个假设由六个约束（或变量）构成的向量表示；每个约束对应于一个属性的可能值范围，包括： - `?`：表示任何可接受的值。 - 明确指定的属性值（如`Water=Warm`）。 - `φ`：表示不接受任何值。 **假设示例**： - ``：表示任意的预报、冷的水温、高的湿度，其他属性无限制。 - ``：表示所有样例均为正例。 - `<φ,φ,φ,φ,φ,φ>`：表示所有样例均为反例。 #### 四、归纳学习假设 **术语定义**： - 实例集`X`：概念定义与其上实例的集合。 - 目标概念`c`：待学习的概念或函数，`c:X→{0,1}`。 - 训练样例：``，其中`x∈X`，`c(x)`为目标概念值。 - 正例：目标概念成员，即`c(x)=1`。 - 反例：非目标概念成员，即`c(x)=0`。 - 假设集`H`：所有可能假设的集合，搜索目标函数的真正范围。 **归纳学习假设**： - 归纳学习的本质是从特殊样例中得出普遍规律。 - 在归纳学习中，仅有的信息是训练样例，因此输出的假设只能保证与训练样例相匹配。 - 由此产生的基本假定是：如果假设`h`与训练样例相匹配，则`h`很可能也能正确分类未知样例。 - 这意味着归纳学习的目标是寻找一个假设`h`，使得对于所有的`x∈X`，都有`h(x)=c(x)`。