如何让你的数据直觉更敏锐

大数据文摘出品

编辑：李馨瑜、Yanruo

AlphaGo打败李世乭、南京大学设立人工智能学院、百度无人车批量生产....

每当人工智能和机器学习取得一些进展时，这些进展一定占据着各大媒体的头版头条。

媒体对其有如此高的关注度，这意味着，现在科技界主流的兴趣领域是数据科学。

对于有大局意识的人来说，这无疑是一个很好的创业机会和职业选择。要想抓住职业机会，你需要超强的“码力”和深入的专业知识。

然而，每个想在数据领域有所成就的数据科学家应该非常熟悉，在吸睛的神经网络和分布式计算名词背后是一些基本的统计实践。

你可以为特定的项目去学习最新的代码框架或者阅读该领域最新成果的科研论文。但是，没有捷径可以获得数据科学家所需的基础统计知识。

所以，只有不停地耐心练习，再加上一些学习过程中的挫折，才能真正提高你的“数据直觉”。

简约原则

简约原则在介绍性的统计课程中反复强调，但英国统计学家乔治·博克斯今天说的话可能比之前更有意义：

这句话想说明什么?

它的意思是说：在寻求对现实世界进行系统建模时，必须以牺牲易理解性为代价来简化和概括。

现实世界纷乱嘈杂，我们无法理解每一个细节。因此，统计建模并不是为了获得完美的预测能力，而是用最小的必要的模型来实现最大的预测能力。

对于那些刚接触数据世界的人来说，这个概念看起来可能违反直觉。但为什么不在模型中包含尽可能多的条件项呢?多余的条件项仅仅只能为模型增加说服力吗?

嗯，是的......不可以。你只需关心那些会显著增加模型解释力的条件项。

考虑将给定的数据集拟合不同类型的模型。

最基本的是null模型，它只有一个参数—响应变量的总体平均值(加上一些随机分布的错误)。

该模型假定响应变量不依赖于任何解释变量。相反，它的值完全由关于整体均值的随机波动来解释。这显然限制了模型的解释力。

在完全相反的饱和模型中，每个数据点都有一个参数。这样，你会有一个完美的模型，但是如果你试图将新的数据用于模型，它没有任何解释力。

每个数据点包括一个特征的同时也忽略了任何有意义的简化方式。实际上用处并不大。

如上图左边是一个空模型，右边是一个饱和模型。两种模型都不会提供有力的说服力。

显然，这些是极端的情况。你应该在两者之间寻找一个模型—一个能很好地拟合数据并具有良好解释力的模型。 您可以尝试拟合最大模型。 该模型包括所考虑的所有因素和制约条件。

例如，假设您有一个响应变量y，您希望将其作为解释变量x 1和x 2的函数进行建模，乘以系数β。 最大模型看起来像这样：

y = intercept + β₁x₁ + β₂x₂ + β₃(x₁x₂) + error

这个最大模型可以很好地拟合数据，并提供良好的解释力。它包括每个解释变量项和一个交互项x₁x₂。

从模型中删除条件项将增加整体剩余偏差，或者观察到的预测模型未能将自身的变化考虑进来。

但是，并非所有条件项都一样重要。 您可以删除一个(或多个)条件项，但并不会发现统计结果上的显著偏差。

这些条件项可以被认为是无关紧要的，并从模型中删除。 您可以逐个删除无关紧要的项(记住重新计算每一步的剩余偏差)。 重复此操作，直到所有项保持良好的统计性。

现在你已经达到了最小的合适模型。每一项的系数β的估计值明显不同于0。得出此模型的逐步消除方法称为“逐步”回归。

支持这种简化模型的哲学原理被称为简约原则。

它与中世纪哲学家威廉的奥卡姆着名的启发式奥卡姆的剃刀有一些相似之处。 这个原则是这样的：“给出两个或多个同样可接受的现象解释，选择引入假设最少的那一个。”

换句话说：你能以最简单的方式解释一些复杂的东西吗? 可以说，这是数据科学的决定性追求 - 有效地将复杂性转化为可见性。

永远持怀疑态度

假设检验(如A / B检验)是一个重要的数据科学概念。