机器学习

机器学习是什么

本章是全书的导论，介绍机器学习的基本概念。机器学习是一门从数据中学习规律的学科，核心思想是通过算法让计算机从数据中自动发现模式和规律。你将了解机器学习的定义、主要类型和典型应用。

如何评价模型

本章介绍如何评估和选择机器学习模型。你将学习经验误差与泛化误差的区别、过拟合和欠拟合的概念，以及各种模型评估方法（交叉验证、性能度量）。

最简单的模型

线性模型是最基础的机器学习模型，形式简单但意义深远。本章介绍线性回归、对数几率回归（逻辑回归）和线性判别分析（LDA），它们是理解更复杂模型的基础。

树形模型

决策树是一种直观的分类与回归方法。本章介绍决策树的基本算法、特征选择准则（信息增益、增益率、基尼指数）、剪枝策略，以及如何处理连续值和缺失值。

深度学习基础

神经网络是深度学习的基础。本章介绍神经元模型、多层前馈神经网络、反向传播算法，以及深度学习的概念和发展历程。

SVM

支持向量机是一种强大的分类方法，核心思想是寻找最大间隔超平面。本章介绍SVM的数学原理、对偶问题、核技巧和软间隔。

概率分类

贝叶斯分类器基于概率论进行分类。本章介绍贝叶斯决策论、朴素贝叶斯分类器，以及考虑属性间依赖关系的半朴素贝叶斯。

三个臭皮匠

集成学习通过组合多个学习器来获得更好的性能。本章介绍Bagging和Boosting两大集成学习范式，以及随机森林、AdaBoost等经典算法。

无监督学习

聚类是无监督学习的核心任务，目标是将数据划分为若干组。本章介绍聚类的基本概念、距离度量、以及K-means、密度聚类、层次聚类等经典算法。

特征工程

降维是处理高维数据的重要技术。本章介绍k近邻学习、主成分分析（PCA）和流形学习等降维方法，以及度量学习的概念。

特征工程进阶

特征选择是从原始特征中选择重要特征的过程。本章介绍特征选择的方法（过滤式、包裹式、嵌入式），以及稀疏表示和压缩感知的概念。

理论基础

计算学习理论研究机器学习的理论基础，回答'学习是否可能'和'学习需要什么'等根本问题。本章介绍PAC学习框架、VC维和Rademacher复杂度等概念。

利用未标记数据

半监督学习利用少量标记数据和大量未标记数据进行学习。本章介绍半监督学习的基本假设、生成式方法和判别式方法。

图模型

概率图模型是用图结构表示概率分布的模型。本章介绍有向图模型（贝叶斯网络）和无向图模型（马尔可夫随机场），以及概率图模型的推理和学习方法。

从规则中学习

规则学习是从数据中学习'如果-那么'形式的规则。本章介绍规则学习的基本方法，包括命题规则和一阶规则的学习。

试错学习

强化学习是通过与环境交互来学习最优策略的方法。本章介绍强化学习的基本概念、K-摇臂赌博机问题、有模型学习和免模型学习。