读书笔记——《智能时代》


作者: 康凯森

日期: 2016-08-07

分类: 笔记


数据——人类建造文明的基石

数据最大的作用在于承载信息

数据 信息 知识

  • 通过测量星球的位置和对应的时间,就得到数据
  • 通过这些数据得到星球运动的轨迹,就是信息
  • 通过信息总结出开普勒三定律,就是知识

使用数据的标准流程

获取数据 ——> 分析数据 --> 建立模型 --> 预测未知

数据的相关性

在如今大数据背景下,我们可以直接进行数据的相关性分析得到结果,再由结果分析原因。

数学模型

建立数学模型需要解决两个问题:

  1. 采用什么样的模型
  2. 模型的参数是多少

只要数据量足够,就可以用若干个简单的模型取代一个复杂的模型。

数据驱动方法指采用统计的方法解决智能问题。 数据驱动方法最大的优势在于,它可以在最大程度上得益于计算机技术的进步。

大数据和机器智能

大数据的特征

  1. 体量大 --> 消除不确定性
  2. 多维度 --> 获得相关性需要多个维度的信息
  3. 完备性 --> 交叉熵

思维的革命

机械思维

机械思维可以概括为确定性和因果关系。

第一 世界变化的规律是确定的。

第二 因为有确定性保障,因此规律不仅是可以被认识的,而且可以用简单的公式或者语言描述清楚。

第三 这些规律应该是放之四海而皆准的,可以应用到各种未知领域指导实践。

首先,需要有一个简单的元模型,这个模型可能是假设出来的,然后再用这个元模型构建复杂的模型;其次,整个模型要和历史数据相吻合

大胆假设,小心求证。

不确定性

为什么世界是不确定的?

  1. 影响世界的变量太多以至于无法用数学模型来描述
  2. 不确定性是我们所在宇宙的特性

信息量的度量就等于不确定的多少。

要消除系统内的不确定性,就需要引入信息。

谁掌握了信息,谁就能够获取财富。

互信息:两者的相关性越大,互信息越大。

香农第一定律:对于信源发出的所有信息设计一种编码,那么编码的平均长度一定大于该信源的信息熵。但是一定存在一种编码方式,使得编码的平均长度无限接近于它的信息熵。

香农第二定律:信息的传播速率不可能超过信道的容量。

大数据的本质

用不确定的眼光看待世界,再用信息来消除这种不确定性。

大数据和商业

商业中大数据的相关性、时效性、和个性化十分重要。

大数据可以让商业行为在准确把控宏观规律的同时,精确到每一个细节,从而提高利润。

在大数据背景下,列举每一种情况,并且有针对性地做出不同处理,已经成为可能。

现有产业 + 大数据 = 新产业 现有产业 + 机器智能 = 新产业

在大数据时代,IT软件和服务业依然会是IT领域最好的行业。

在未来,大数据和机器智能的工具就如同水和电这样的资源,由专门的公司提供给全社会使用。

大数据和智能革命的技术挑战

每一次技术革命除了有生产力的发展需要,还要有很多技术准备,只有当所有这些必要的技术都成熟时,技术革命才变为可能。

每一次技术革命都会围绕一个核心技术展开。

数据的收集,存储,处理,展示

保护隐私的方法

  1. 数据预处理
  2. 双向监视

未来智能化产业

一句话,在未来,大数据和机器智能会改变所有行业。

智能革命和未来社会

整个社会精细化

个性化服务

无隐私的社会

要么成为2%的人,要么被这个社会所淘汰。

任何一次技术革命,最初受益的都是发展它,使用它的人。


《OLAP 性能优化指南》欢迎 Star&共建

《OLAP 性能优化指南》

欢迎关注微信公众号