前言:记录2017,为2018立flag

前言:本文主要参考了来自coursera上约翰霍普金斯大学Data Science系列课程Course3:Getting and Cleaning Data.

本文主要参考了Shai Shalev-Shwartz的深入理解机器学习第2-7章以及coursera上林轩田的机器学习基石课程,这部分内容较为详细的描述了机器学习的理论部分,主要包括以下三部分内容:

1. 统计学习理论的基本定理,涉及:一致收敛性、PAC学习理论、VC维及没有免费的午餐定理.
2. 三个可学习的概念:PAC可学习、不一致可学习及一致性(Consistency).
3. 三种学习范式:经验风险最小化(ERM)、结构风险最小化(SRM)及最小描述长度(MDL).

最后要强调的是这块理论是针对监督学习中的二分类问题而言的,对于多分类问题,可将VC维拓展为Natarajan维.