摘 要：大 数 据 的 成 因 源 于 信 息 技 术 的 发 展。回忆半 个 多 世 纪 人 类 信 息 社 会 的 历 史， １９６６ 年 摩 尔 定 律 的 提 出 ，使 晶 体 管 越 做 越 小 、 本钱越来 越 低，为 大 数 据 现 象 的 形 成 奠 定 了 物 理 基 础 ，这 相 当 于 铸 器 ，人 类 有 能 力 制 造 巨 鼎盛载海量 的 数 据；１９８９ 年 数 据 挖 掘 技 术 的 产 生 ，让 大 数 据 实 现 了 “大 价 值 ”；２００４ 年 出 现 的交际媒 体，则 把 全 世 界 每 个 人 都 转 变 成 了 潜在的数 据 生 成 器，向 摩 尔 定 律 铸 成 的 巨 鼎

　　傍边奉献数据，这是“大容量”形 成 的 主 要 原 因。 本 文 通 过 分 析 大 数 据 的 静 态 的 概 念 和 动 态 的 成 因 ，使 人 们 更 清 楚 地 理 解 大 数 据 的 特 点 。

　　传统意义上的“数据”，是指“有 根 据 的 数 字”，数 字 之 所 以 产 生，是 因 为 人类在实践中发现，收藏用语 言、文 字 和 图 形 来 描 述 这 个 世 界 是 不 精 确 的， 也是远远不够 的。 例 如，有 人 问 “姚 明 多 高？”，如 果 回 答 说 “很 高 ”、“非 常 高”、“最高”，他人听了，只能得到一个笼统的形象。 但假如答复“２．２６ 米”， 就 一 清 二 楚 。 除 了 描 述 世 界 ，数 据 还 是 我 们 改 造 世 界 的 重 要 工 具 ，人 类 的 一

　　作 者 简 介 ：涂子沛，上海承泰信息技能有限公司首席数据科学家。研讨方向为信息技能的发 展、应 用 及 对 当 前 政 治 、经 济 和 文 化 生 活 的 影 响 。

　　切出产、沟通活动，能够说都是 以 数 据 为 基 础 展 开 的，例 如 度 量 衡、货 币，其 背 后 都 是 数 据 ，它 们 的 发 明 和 出 现 ，都 极 大 地 推 动 了 人 类 文 明 的 进 步 。

　　数据最早的来历，是丈量，所谓“有 根 据 的 数 字”，是 指 数 据 对 客 观 世 界 测 量 结 果 的 记 录 ，而 不 是 随 意 产 生 的 。 测 量 ，是 从 古 至 今 科 学 研 究 最 主 要 的 手 段 ，可 以 说 ，没 有 测 量 ，就 没 有 科 学 ，也 可 以 说 ，一 切 科 学 的 本 质 都 是 测 量 ， 就此而言，数据之于 科 学 的 重 要 性，就 像 语 言 之 于 文 学，音 符 之 于 音 乐，色 彩 、形 状 之 于 美 术 一 样 ，离 开 数 据 ，就 没 有 科 学 可 言 。

　　除 了 测 量 ，新 的 数 据 还 可 以 由 老 数 据 经 计 算 衍 生 而 来 ，测 量 和 计 算 ，都 是人为的，也便是说，世上本 没 有 数，一 切 数 据 都 是 人 为 的 产 物。 我 们 说 的 “原始数据”，并不是“原始森林”，原 始 森 林 是 指 天 然 就 存 在 的，而 原 始 数 据 仅 仅 是 指 第 一 手 、没 有 经 过 人 为 修 改 的 数 据 。

　　传统意义上的数据、信息 和 知 识 具 有 完 全 不 同 的 概 念。 数 据 是 信 息 的 载体、信息是有布景的数据，而 知 识 是 经 过 人 类 的 归 纳 和 整 理，呈 现 规 律 的 信息。

　　图 １ 传 统 意 义 上 数 据 和 信 息 的 区 别 但进入信息惠顾之后，“数据”二 字 的 内 涵 开 始 扩 大，它 不 仅 指 “有 根 据 的数字”，还总称甘愿保存在 电 脑 中 的 信 息，包 括 文 本、声 音、视 频 等 等。 其 中的原因，是因为１９６０惠顾软 件 科 学 取 得 了 巨 大 进 步，发 明 了 数 据 库 （ｄａ－ ｔａｂａｓｅ）。尔后，数字、文本、图 片 都 不 加 区 别 的 保 存 在 电 脑 的 数 据 库 中，数 据也坐享其成成为“数字、文 本、图 片、视 频”等 等 的 统 称，也 就 是 “信 息 ”的 代 名 词。 文 本 、音 频 、视 频 ，其 本 身 就 已 经 是 信 息 ，而 且 它 们 的 来 源 也 不 是 对 世 界

　　图 ２ 从 传 统 意 义 上 来 说 ：信 息 是 有 背 景 的 数 据 的 测 量 ，而 是 对 世 界 的 一 种 记 录 ，所 以 信 息 时 代 的 数 据 ，又 多 了 一 个 来 源 ：记 录 ①。

　　除 了 内 涵 的 扩 大 ，数 据 库 发 明 之 后 ，还 有 一 个 重 要 的 现 象 在 发 生 ，那 就 是数据的总量在不断间谍，并且间谍的速度 不断加速。 到了 １９８０ 惠顾，美 国就有人提出了“大 数 据”的 概 念，这 个 时 候，还 没 有 进 入 数 据 大 爆 炸 的 年 代 ，但 已 有 人 预 见 到 ，随 着 信 息 技 术 的 进 步 ，软 件 的 重 要 性 将 下 降 ，数 据 的 重 要性将上升，因此有了“大数据”的 提 法，这 时 候 的 “大”，主 要 指 数 据 价 值 上 的 重 要 性 。 到 了 ２０００ 年 代 ，尤 其 是 ２００４ 年 社 交 媒 体 产 生 之 后 ，数 据 开 始 爆 炸，大数据的提法又从头进入了 大 众 的 视 野，并 获 得 了 更 大 的 关 注，这 个 时 候 的 “大 ”，含 义 也 更 加 丰 富 了 ，一 是 指 容 量 大 ，二 是 指 价 值 大 。

　　从 这 个 角 度 出 发 ，大 数 据 可 以 首 先 理 解 为 传 统 的 小 数 据 加 上 现 代 的 “大 记载”，这种大记载，其首要的 表 现 形 式 是 文 本、图 像、音 频、视 频 等 等，和 传 统 的 测 量 完 全 是 两 回 事 。 而 且 大 数 据 之 所 以 “大 ”，主 要 是 “大 记 录 ”的 增 长 ， 因 为 信 息 技 术 的 进 步 ，人 类 记 录 的 范 围 在 不 断 扩 大 ：

　　但究竟多大才算大呢？十 多 年 来 颇 多 争 议，这 首 先 涉 及 的 衡 量 数 据 大

　　① 进入信息惠顾之后，数据成为信息 的 代 名 词，两 者 可 以 交 替 使 用。 一 封 邮 件，虽 然 包 含 很 多条信息，但从技能的视点从发，或许仍是“一个 数 据”，就 此 而 言，现 代 意 义 上 数 据 的 范 畴，其 实 比 信息还大。

　　小的单位，２０００年，“太”级 别 的 数 据 就 被 认 为 是 大 数 据 了，这 个 时 候，拥 有 “太”（Ｔ）等级数据的企 业 并 不 多，但 这 之 后，互 联 网 企 业 开 始 崛 起，这 些 企 业 拥 有 各 种 各 样 的 数 据 ，其 中 大 部 分 都 是 文 本 、图 片 和 视 频 ，因 此 容 量 巨 大 ， 传统的企业底子无法望其项背。

　　了解几个首要的存贮单位： 一首音乐 ≈ 约４个兆（Ｍ） 一部电影 ≈ 约 １个吉（Ｇ）（１个吉＝１０２４个兆，适当于 ２５０首歌曲的 巨细） 一个普 通 图 书 馆 的 藏 书 ≈ １ 个 太 （Ｔ）（１ 个 太 ＝１０２４ 个 吉，相 当 于 １０２４ 部 电 影 的 大 小 ） 我 认 为 ，除 了 互 联 网 行 业 ，各 行 各 业 的 数 据 都 在 爆 炸 ，只 是 规 模 不 同 ，如 果收藏把大数据的规范限定在 互 联 网 企 业，认 为 只 有 互 联 网 企 业 才 拥 有 大 数据，那就意图的 窄 化 了 大 数 据 的 意 义。 毕 竟 容 量 只 是 表 象，价 值 才 是 本 质 。 大 数 据 的 真 正 意 义 还 是 在 于 大 价 值 ，价 值 的 获 得 ，主 要 是 通 过 数 据 的 整 合 、分 析 和 开 放 。 大 数 据 是 指 人 类 有 前 所 未 有 的 能 力 来 使 用 海 量 的 数 据 ，在 雁足传书发现新的常识、创 造 新 的 价 值，从 而 为 社 会 带 来 “大 知 识 ”、“大 科 技”、 “大 利 润 ”和 “大 智 能 ”等 等 发 展 机 遇 。 之 所 以 能 从 数 据 中 发 现 知 识，还 是 因 为 数 据 是 对 世 界 的 测 量 和 记 录。 人 类 知 识 的 唯 一 来 源 ，是 对 过 去 经 验 的 整 理 ，这 依 赖 于 对 过 去 的 记 录 。 如 果 传统的数据是人类部分常识的 来 源，那 现 代 意 义 上 的 大 数 据 将 逐 渐 成 人 类 全 部 知 识 的 来 源 ，因 为 人 类 的 记 录 范 围 正 在 呈 加 速 度 扩 大 。 对客观国际的记载，也是 对 历 史 和 现 实 的 记 录。 随 着 人 类 跃 进 到 大 数 据惠顾，数据不仅是一种新的历 史 记 录 方 式、还 将 是 记 录 历 史 最 好、最 可 靠 的方法。从今以后，一切的前史记载，无论是 文字、图画、音频、视频、数 字， 都 将 以 数 据 的 形 式 存 在 ，历 史 将 是 动 态 的 数 据 ，数 据 是 静 态 的 历 史 。 历 史 的 碎片，便是游离的数据，前史的 迷 雾，就 是 模 糊 的 数 据，历 史 的 盲 点，就 是 缺 失 的 数 据 。 用 数 据 构 建 的 历 史 ，因 为 精 确 的 细 节 而 永 远 鲜 活 ，后 世 的 历 史 学 家能够经由数据再现其时的社会状况。 以 上 的 论 述 ，是 从 概 念 上 分 析 “数 据 ”和 “大 数 据 ”的 区 别 ，掌 握 一 个 概 念 最 好 的 方 法 ，还 是 从 动 态 上 了 解 其 成 因 。 大 数 据 现 象 的 成 因 ，不 仅 是 因 为 人 类信息技能的前进，并且是信息 技 术 领 域 不 同 时 期 多 个 进 步 交 互 作 用 的 结

　　１９６５ 年 ，英 特 尔 （Ｉｎｔｅｌ）的 创 始 人 之 一 戈 登 · 摩 尔 （ＧｏｒｄｏｎＭｏｏｒｅ）在 考 察 了 计 算 机 硬 件 的 发 展 规 律 之 后 ，提 出 了 著 名 的 摩 尔 定 律 。 该 定 律 认 为 ，同 一芯片面积上可包容的晶体管数量，一 到 两 年 将 增 加 １ 倍。①要 理 解 这 种 增 加 的 意 义 ，并 不 简 单 。 摩 尔 的 本 意 是 ，因 为 单 位 面 积 芯 片 上 晶 体 管 的 密 度 增 加 了 ，计 算 机 硬 件 的 处 理 速 度 、存 贮 能 力 ，即 其 主 要 的 性 能 ，一 到 两 年 将 提 升 １倍。原本功用提高了，价钱也应该上升才对。 但实际却很怪异，半个多世 纪以来，硬件的功用不断提高，但 价 钱 却 持 续 下 降。 其 中 的 主 要 原 因，也 是 因 为 晶 体 管 越 做 越 小 ，这 种 体 积 的 缩 小 也 导 致 了 其 成 本 的 下 降 ，再 加 上 人 类 对 晶 体 管 的 需 求 越 来 越 大 ，大 规 模 的 生 产 也 不 断 导 致 价 格 下 降 。

　　回 顾 这 半 个 多 世 纪 的 历 史 ，硬 件 的 发 展 ，基 本 符 合 摩 尔 定 律 。 以 物 理 存 贮器为例，正是功用不断上升、画蛇添足价格不断下降。１９５５年，ＩＢＭ 推出了第 一款商用硬盘存贮器，１兆字节的存贮量需求 ６０００ 多美元，这之后，其价格 不断下降；１９６０ 年，１ 兆 字 节 下 降 到 ３６００ 美 元；１９９３ 年，下 降 到 大 概 １ 美 元；２０００年，再降到了１ 美 分 左 右；到 ２０１０ 年，每 兆 价 格 约 为 ０．００５ 美 分。 半 个 多 世 纪 ，存 贮 器 的 价 格 ，下 降 了 １．２ 亿 万 倍 ，这 种 变 化 的 速 度 既 巨 大 、又 剧烈，令人张口结舌。事实上，考 察 人 类 全 部 的 历 史，没 有 其 它 任 何 一 种 产 品 ，其 价 格 下 降 的 空 间 能 够 如 此 巨 大 ！

　　晶体管职业（即半导体 行 业）也 是 人 类 历 史 上 最 高 产 的 行 业。 现 在 一 年出产的晶体管比全球一年耗费的大米颗粒 还要多。２００２ 年，人类出产的 晶体管数量大概是大 米 的 ４０ 倍，买 一 粒 米 的 钱 可 以 购 买 １００ 个 晶 体 管 ②； ２００９年，晶体管的产值上升到大米的 ２５０ 倍，一粒大米的价钱能够购买 １０ 万 个 晶 体 管 ③。

　　① 摩尔１９６５年宣告该规律时，以为这个周期 是 一 年。１９７５ 年，他 修 订 为 两 年，也 有 人 认 为， 这 个 周 期 是 １８ 个 月 。

　　② Ｒ．Ｇｏｏｄａｌｌ，Ｄ．Ｆａｎｄｅｌ，Ｈ．Ｈｕｆｆ．Ｌｏｎｇ－ｔｅｒｍＰｒｏｄｕｃｔｉｖｉｔｙＭｅｃｈａｎｉｓｍｓｏｆｔｈｅＳｅｍｉｃｏｎ－ ｄｕｃｔｏｒＩｎｄｕｓｔｒｙ．ＩｎｔｅｒｎａｔｉｏｎａｌＳｅｍａｔｅｃｈ，２００２

　　③ ＧｅｏｆｆＣｏｌｖｉｎ．Ｔｈｅｓｔａｇｇｅｒｉｎｇｐａｃｅｏｆｔｅｃｈｎｏｌｏｇｙ．ＣＮＮ，２０１０－０８－３１

　　图 ３１９７１－２０１１ 年 中 央 处 理 器 上 的 晶 体 管 数 量 和 摩 尔 定 律

　　图 表 来 源 ：维 基 百 科 注：纵坐标为晶体管数量，横坐标为年份。该曲线 年，大 概 每 两 年 同

　　一面积巨细中央处理器集成电路上的晶体管就间谍了 １倍，需求留意的 是，纵 坐 标 从 ２３００ 到 １万再到１０万，其实不成份额，假如严厉按份额作图，将 是 一 条 非 常 陡 峭 的 曲 线，页 面 无 法 容 纳。

　　摩 尔 定 律 发 展 到 今 天 ，一 根 头 发 尖 大 小 的 地 方 ，就 能 放 上 万 个 晶 体 管 。 当然，晶体管不或许无限制缩小，所 以 近 十 多 年 来，业 界 曾 经 为 以 下 问 题 激 烈 争 论 ：摩 尔 定 律 所 揭 示 的 现 象 还 会 不 会 持 续 ，即 单 位 面 积 上 的 晶 体 管 还 能 不 能 继 续 增 加 、甚 至 翻 倍 ？ 如 果 能 ，又 还 能 持 续 多 久 ？

　　作为摩尔规律的发现人，２００３年，戈登· 摩尔也被问到这个问题，他认 为 “创 新 无 止 境 ，下 一 个 十 年 摩 尔 定 律 可 能 还 将 有 效 ”。

　　事实证明，摩 尔 是 对 的。２０１１ 年，英 特 尔 公 司 宣 布 发 明 了 ２２ 纳 米 的 ３Ｄ 晶体管，这为争辩暂时划上了句号。此前，晶体管为 ３１ 纳 米，２２ 纳 米 的 晶体管，小了 大 概 １／３。 因 为 小，新 的 晶 体 管 比 现 在 还 要 便 宜、还 要 节 能。 ２０１２ 年 ，英 特 尔 又 宣 布 将 投 资 ５０ 亿 美 元 在 美 国 亚 利 桑 那 州 建 厂 ，计 划 ２０１４ 年 投 产 １４ 纳 米 的 晶 体 管 ，这 比 ２１ 纳 米 的 尺 寸 又 将 缩 小 了 １／３。

　　英特尔的发 明，让 大 部 分 科 学 家 都 相 信，摩 尔 定 律 的 生 命，将 延 续 到

　　２０２０年。估计到 ２０２０ 年时，１ 太硬盘的价格将下降到 ３ 美元，这适当 于 一 杯咖啡的价钱。前面 我 们 提 到，一 所 普 通 大 学 的 图 书 馆，其 馆 藏 量 可 能 就 一 、两 个 太 ，也 就 是 说 ，到 ２０２０ 年 ，只 要 花 一 杯 咖 啡 的 价 钱 ，就 可 以 把 一 个 图 书 馆 的 全 部 信 息 容 量 拷 进 一 个 小 小 的 硬 盘 ，信 息 保 存 的 过 程 如 此 方 便 ，成 本 如 此 低 廉 ，历 史 上 从 来 没 有 过 。

　　摩 尔 定 律 ，已 经 成 为 了 描 述 一 切 呈 指 数 型 增 长 事 物 的 代 名 词 ，它 给 人 类 社会带来的影响，十分深远。正 是 因 为 存 贮 器 的 价 格 在 半 个 世 纪 之 内 经 历 了 空 前 绝 后 的 下 降 ，人 类 才 可 能 以 非 常 低 廉 的 成 本 保 存 海 量 的 数 据 ，这 为 大 数据惠顾的到来铺平了硬件的 道 路，这 相 当 于 物 质 基 础，没 有 它，大 数 据 无 异 于 水 中 月 、镜 中 花 。

　　除 了 便 宜 、功 能 强 大 ，摩 尔 定 律 也 导 致 各 种 计 算 设 备 越 来 越 小 。 这 个 现 象 ，在１９８８ 年 被 美 国 科 学 家 马 克 · 韦 泽 （ＭａｒｋＷｅｉｓｅｒ）概 括 为 “普 适 计 算 ”。 普适核算以为，自从核算机创造 以 后，将 经 历 三 个 主 要 的 阶 段，一 是 主 机 型 阶段，指的是很多人同享一台大 型 机，一 台 机 器 就 占 据 半 个 房 间；二 是 个 人 电 脑 阶 段 ，计 算 机 变 小 ，人 手 一 机 ，韦 泽 当 时 就 处 于 这 个 时 代 ，这 似 乎 已 经 是 很 理 想 的 状 态 ，但 韦 泽 天 才 的 预 见 到 ，人 手 一 机 不 是 时 代 的 终 结 。 在 第 三 个 阶段，核算机将变得很小，小得 将 从 人 们 的 视 线 中 消 失，人 们 可 以 在 日 常 环 境 中 广 泛 部 署 各 种 各 样 微 小 的 计 算 设 备 ，在 任 何 时 间 、地 点 都 能 获 取 并 处 理 数 据 ，计 算 最 终 将 和 环 境 融 为 一 体 ，这 个 阶 段 ，被 称 为 普 适 计 算 。

　　今 天 ，这 第 三 股 浪 潮 正 在 向 我 们 奔 涌 而 来 ，小 小 的 智 能 手 机 ，其 功 能 已 经毫不逊色于一台核算 机，各 种 传 感 器 正 越 做 越 小，射 频 标 签 （ＲＦＩＤ）方 兴 未 艾 ，可 穿 戴 式 设 备 又 向 我 们 走 来 。

　　ＲＦＩＤ 标签现已在零售、医 疗、动 物 饲 养 等 领 域 得 到 了 广 泛 的 应 用，近 两年，美国费城等城市在废物桶内装置 ＲＦＩＤ 传感器，废物满了或许因为腐 烂宣告异味，传感器就会宣告信 号，这 可 以 优 化 垃 圾 车 的 巡 回 路 线，减 少 城 市管理人员搜集废物的次数。

　　可 穿 戴 式 设 备 是 指 可 以 穿 戴 在 身 上 ，不 影 响 个 人 活 动 的 微 型 电 子 设 备 ， 这 些 设 备 可 以 记 录 佩 戴 者 的 物 理 处 置 、热 量 消 耗 、体 温 心 跳 、睡 眠 模 式 、步 伐 多少以及健身方针等数据。２０１３年，德国的一个足球沙龙 ＴＳＧＨｏｆｆｅｎ－ ｈｅｉｍ 现已把传感器装到了 足 球 和 每 个 球 员 的 护 膝 或 者 衣 服 上。 这 些 传 感 器 可 以 实 时 记 录 运 动 员 的 活 动 轨 迹 、奔 跑 的 速 度 、加 速 的 过 程 、控 球 的 时 间 ，

　　一 场 足 球 比 赛 下 来 ，系 统 可 以 收 集 ６０００ 万 条 记 录 ，球 员 、教 练 都 可 以 对 这 些 数 据 做 出 分 析 ，提 高 训 练 的 质 量 ，制 定 最 佳 组 合 ，减 少 运 动 员 受 伤 的 概 率 。

　　除了足球，传感 器 也 进 入 了 网 球 场。 法 国 的 运 动 器 材 制 造 商 Ｂａｂｏｌａｔ 把 传 感 器 安 装 在 了 网 球 拍 的 手 柄 上 ，它 可 以 记 录 球 员 击 球 时 的 状 态 ，例 如 正 反 拍 、击 球 点 、击 球 的 力 量 、球 速 、球 的 旋 转 方 向 等 参 数 ，这 些 数 据 ，以 几 乎 实 时的速度传到现场的 智 能 手 机 和 平 板 电 脑，运 动 员 和 教 练 可 以 随 时 查 看， ２０１４年在澳网封后的中 国 网 球 一 姐 李 娜 用 的 就 是 这 个 品 牌 的 球 拍 。 为 了 配 合 这 种 球 拍 的 使 用 ，２０１３ 年 ，国 际 网 球 联 合 会 （ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｎｎｉｓＦｅｄ－ ｅｒａｔｉｏｎ，ＩＴＦ）现已修改了财务，从２０１４年１ 月 起 允 许 运 动 员 在 国 际 比 赛 中 使 用 带 有 传 感 器 的 球 拍 ，以 记 录 分 析 自 己 的 数 据 。 未 来 的 比 赛 ，如 果 运 动 员 同 意 ，这 些 数 据 甚 至 可 以 实 时 出 现 在 比 赛 场 地 的 大 屏 幕 上 ，以 供 观 众 分 析 参 考。

　　除了足球、网球，传感器也 在 快 速 进 入 棒 球、橄 榄 球 等 领 域。 美 国 的 一 些 研 究 机 构 认 为 ，美 国 运 动 产 业 的 营 业 收 入 近 年 内 会 有 大 幅 增 长 ，其 主 要 原 因便是根据传感器的数据搜集和剖析技能将改写整个范畴的生态。

　　除了运动，可穿戴式 设 备 还 有 很 多。２０１４ 年 ２ 月，日 本 东 京 大 学 的 研 究人员创造一种比茸毛还要轻 的 传 感 器，把 它 放 置 在 纸 尿 片 内，尿 片 一 湿， 信号就宣告，关照 就 知 道。 成 本 只 需 几 个 美 分，这 种 传 感 器 不 仅 适 用 于 婴 儿 ，还 适 用 于 老 人 、病 人 。 此 外 ，风 靡 一 时 的 谷 歌 眼 镜 ，作 为 穿 戴 式 设 备 最 经 典 的 产 品 ，也 在 娱 乐 之 外 得 到 了 更 广 泛 的 应 用 ，美 国 纽 约 市 的 警 察 准 备 在 日 常 巡 逻 中 配 戴 谷 歌 眼 镜 ，以 方 便 快 速 记 录 事 故 现 场 ，并 通 过 网 络 和 同 事 共 享 数据。

　　普适核算的底子，是在人类 生 活 的 物 理 环 境 当 中 广 泛 部 署 微 小 的 计 算 设 备 ，实 现 无 处 不 在 的 数 据 自 动 采 集 。 这 意 味 着 人 类 收 集 数 据 能 力 的 增 强 ， 在 此 之 前 ，电 子 化 的 数 据 主 要 由 各 种 信 息 系 统 产 生 ，这 些 信 息 系 统 记 录 的 主 要 是 商 业 过 程 的 数 据 ，传 感 器 的 出 现 及 其 技 术 的 成 熟 ，使 人 类 开 始 有 能 力 大 规 模 的 记 录 物 理 世 界 的 状 态 ，这 种 进 步 ，推 动 了 大 数 据 时 代 的 到 来 。

　　２００４ 年 起 ，以 脸 谱 （Ｆａｃｅｂｏｏｋ）、推 特 为 代 表 的 社 交 媒 体 相 继 问 世 ，拉 开 了一个互联网的簇新惠顾，这 个 新 时 代，被 称 为 Ｗｅｂ２．０。 在 此 之 前，互 联 网 的 主 要 作 用 是 信 息 的 传 播 和 分 享 ，其 最 主 要 的 组 织 形 式 是 建 立 网 站 ，但 网 站 是 静 态 的 。 进 入 ２．０ 时 代 之 后 ，互 联 网 开 始 成 为 人 们 实 时 互 动 、交 流 协 同 的载体。２０１１年８月２３ 日，美国弗吉尼亚州发生 ５．９ 级地震，纽约居民首 先 在 推 特 上 看 到 这 个 消 息 ，几 秒 钟 之 后 ，才 感 觉 到 地 震 波 从 震 中 传 过 来 的 震 感 ，社 交 媒 体 把 人 类 信 息 传 播 的 速 度 ，带 到 了 比 地 震 波 还 快 的 时 代 。

　　除了把沟通和协同的功用 带 到 了 一 个 登 峰 造 极 的 高 度，社 交 媒 体 的 另 外 一 点 重 要 意 义 ，就 是 给 全 世 界 无 数 的 网 民 提 供 了 一 个 平 台 ，让 他 们 随 时 随 地 都 可 以 记 录 自 己 的 行 为 、想 法 。 这 种 记 录 ，其 实 就 是 贡 献 数 据 。 我 们 谈 到 过 ，所 有 的 数 据 都 是 人 为 产 生 的 ，所 有 的 数 据 都 是 对 世 界 的 测 量 和 记 录 。 从 １９４６ 年 人 类 发 明 第 一 台 计 算 机 ，进 入 信 息 时 代 算 起 ，在 社 交 媒 体 产 生 之 前 ， 主 要 是 信 息 系 统 、传 感 器 在 产 生 和 收 集 数 据 。 但 社 交 媒 体 的 横 空 出 世 ，人 类 自己也开端在互联网上出产数 据，他 们 发 推 特、微 博 和 微 信，记 录 各 自 的 活 动 和 行 为 ，这 部 分 数 据 也 因 此 被 称 为 “行 为 数 据 ”。

　　因为交际媒体的呈现，全 世 界 的 网 民 都 开 始 成 为 数 据 的 生 产 者，每 一 个网民都比如一个信息系统、一 个 传 感 器，在 不 断 制 造 数 据，这 引 发 了 人 类 前史上迄今为止最巨大的数 据 爆 炸。 除 了 数 据 总 量 骤 然 增 加，社 交 媒 体 还 让 人 类 的 数 据 世 界 更 为 复 杂 ，大 家 发 的 微 博 、图 片 、视 频 ，大 小 和 结 构 完 全 不 一 样 ，因 为 没 有 严 整 的 结 构 。 在 社 交 媒 体 上 产 生 的 数 据 ，也 被 称 为 非 结 构 化 数 据 ，这 部 分 数 据 的 处 理 ，远 比 结 构 严 整 的 数 据 困 难 。２０１２ 年 ，乔 治 敦 大 学 的 ＫａｌｅｖＬｅｅｔａｒｕ 教 授 考 察 了 推 特 上 产 生 的 数 据 量，他 做 出 估 算：过 去 ５０ 年 ，《纽 约 时 报 》总 共 产 生 了 ３０ 亿 单 词 的 信 息 量 ，现 在 仅 仅 一 天 ，推 特 上 就 产 生８０亿单词。也便是说，现在一天 产 生 的 数 据 总 量 相 当 于 《纽 约 时 报》１００ 多年发生的数据总量。

　　在这种史无前例的数据生 产 速 度 之 下，社 交 媒 体 的 出 现 虽 然 还 短 短 不 到１０ 年，目 前 全 世 界 的 数 据 已 经 有 约 ７５％ 都 是 非 结 构 化 数 据。 今 天 回 头

　　注：数据是对人类嬉闹和客观国际的测 量 和 记 录。 过 去 是 我 们 选 择 什 么 东 西 需 要 记 录， 才对它进行记载，在大数据的惠顾，是挑选什么东西不需求记载，才撤销对它 的 记 录。 随 着 记 录 范 围 边 界 的 不 断 扩 大 ，可 以 肯 定 ，人 类 的 数 据 总 量 还 将 呈 滚 雪 球 式 的 扩 大 。

　　看 ，社 交 媒 体 的 出 现 才 是 让 大 数 据 一 锤 定 音 的 力 量 。 基 于 以 上 分 析 ，我 们 也 能够这样以为：

　　大数据 ＝结构化数据＋ 非结构化数据 但 大 数 据 之 大 ，不 仅 在 于 它 的 大 容 量 ，更 在 于 它 的 大 价 值 ，价 值 在 于 使 用 ，如 同 埋 在 地 底 下 的 石 油 ，远 古 即 有 之 ，人 类 进 入 石 油 时 代 ，是 因 为 掌 握 了 开 采 、冶 炼 石 油 的 技 术 ，现 在 进 入 大 数 据 时 代 ，最 根 本 的 原 因 ，也 是 因 为 人 类 运用数据的才能取得了严重的打破和发展。 这 种 突 破 ，集 中 的 表 现 在 数 据 挖 掘 上 ，数 据 挖 掘 是 指 通 过 特 定 的 算 法 对 大 量 的 数 据 进 行 自 动 分 析 ，从 而 揭 示 数 据 当 中 隐 藏 的 规 律 和 趋 势 ，即 在 大 量 的 数 据 当 中 发 现 新 的 知 识 ，为 决 策 者 提 供 参 考 。 数 据 挖 掘 的 进 步 ，根 本 原 因 是人类能够不断 设 计 出 更 强 大 的 模 式 识 别 算 法 ①。 这 其 实 是 软 件 的 进 步， 雁足传书最重要的里程碑，是１９８９ 年 世 界 计 算 机 协 会 （ＡＣＭ）下 属 的 知 识 发 现 和数据发掘小组（ＳＩＧＫＤＤ）举 办 了 第 一 届 数 据 挖 掘 的 学 术 年 会，出 版 了 专 门 期 刊 ，此 后 数 据 挖 掘 得 到 了 如 火 如 荼 的 发 展 。 正 是 通 过 数 据 挖 掘 ，近 几 十 年 来 ，各 大 公 司 谱 写 了 不 少 点 “数 ”成 金 的 传

　　奇和故事。例如，沃尔马困 绑“啤 酒 和 尿 布”提 高 销 售 量 的 做 法；奈 飞（Ｎｅｔ－ ｆｌｉｘ）公 司 利 用 客 户 的 网 上 点 击 记 录 预 测 其 喜 欢 观 看 的 内 容 ，实 现 精 准 营 销 ； 阿里巴巴使用长期以来堆集的 用 户 资 金 流 水 记 录，在 几 分 钟 之 内 就 能 判 断 用 户 的 信 用 资 质 、决 定 是 否 发 放 一 笔 贷 款 ，等 等 。

　　近 年 来 ，数 据 挖 掘 在 企 业 的 应 用 也 在 不 断 推 陈 出 新 ，有 望 到 达 一 个 新 的 高度。例如，２０１４年１ 月，美国电子零售巨子亚马逊宣告了一项新的专利： “预 判 发 货 ”（ＡｎｔｉｃｉｐａｔｏｒｙＳｈｉｐｐｉｎｇ），即 在 网 购 时 ，顾 客 还 没 有 下 单 ，亚 马 逊 就 寄 出 了 包 裹 。 这 种 顾 客 未 动 、包 裹 先 行 的 做 法 听 起 来 不 可 思 议 ，中 国 的 新 闻 媒 体 甚 至 惊 呼 “亚 马 逊 这 是 要 逆 天 吗 ？”①

　　在 商 言 商 ，亚 马 逊 当 然 不 会 做 赔 本 生 意 ，预 判 发 货 的 核 心 技 术 还 是 数 据 挖 掘 。 其 本 质 是 ，通 过 预 测 ，把 发 货 过 程 “外 包 ”给 算 法 ，让 算 法 自 动 发 货 ，实 现 智 能 化 ！ 发 货 的 根 据 ，亚 马 逊 解 释 说 ，是 顾 客 以 前 的 消 费 记 录 、搜 索 记 录 、 以及顾客的恣意单，甚 至 包 括 用 户 的 鼠 标 在 某 个 商 品 页 面 上 停 留 的 时 间。 根 据 这 些 数 据 ，亚 马 逊 如 果 判 断 某 名 顾 客 对 一 件 新 商 品 有 购 买 意 愿 ，就 会 直 接 将 商 品 发 送 给 他 或 者 将 该 商 品 发 送 到 离 他 最 近 的 仓 库 ，顾 客 一 旦 下 单 ，收 货 的 时 间 就 将 以 “小 时 ”计 、而 不 是 以 “天 ”计 。 亚 马 逊 认 为 ，正 是 从 下 单 到 收 货之间的物流推迟，导致了人们 购 买 意 愿 的 降 低，如 果 能 缩 短 物 流 时 间，将 极大的改进客户体会。

　　亚 马 逊 还 提 到 ，并 不 是 所 有 的 商 品 都 会 采 用 预 判 发 货 的 形 式 ，这 种 形 式 比较合适在上市之初就简单 吸 引 大 量 买 家 的 商 品，例 如 畅 销 书。 为 了 减 小 预 判 发 货 的 风 险 ，亚 马 逊 还 有 一 些 配 套 的 技 巧 ，例 如 模 糊 填 写 用 户 的 收 货 地 址，只将产品配送到离他最近的 仓 库，如 果 在 配 送 过 程 中 收 到 订 单，再 将 地 址信息弥补完好。在这个等候 的 过 程 中，亚 马 逊 还 会 向 这 位 潜 在 的 顾 客 推 送 信 息 ，以 提 升 这 笔 交 易 成 功 的 可 能 性 。

　　但 这 些 都 不 是 其 算 法 的 关 键 ，预 判 发 货 这 种 模 式 之 所 以 有 商 业 价 值 ，是 因 为 亚 马 逊 会 锁 定 其 合 适 使 用 的 群 体 ，例 如 年 收 入 较 高 的 家 庭 ，他 们 对 某 些 消 费 有 固 定 的 预 算 ，又 如 某 一 领 域 狂 热 的 粉 丝 ，他 们 愿 意 为 最 新 的 时 尚 一 掷 万 金 ，对 这 批 高 端 用 户 而 言 ，他 们 更 注 重 购 物 的 体 验 ，把 发 货 外 包 给 算 法 ，顾

　　① 《亚马逊 是 要 逆 天 了 吗？“预 判 发 货”专 利，顾 客 未 动 包 裹 先 行！》ｗｗｗ．ｙｉｘｉｅｓｈｉ．ｃｏｍ．２０１４ －０１－１９

　　客 就 不 用 操 心 自 己 想 买 什 么 ，这 节 省 了 他 的 时 间 ，流 行 物 品 在 第 一 时 间 就 送 上 门 ，这 是 急 顾 客 之 所 急 ，可 以 想 象 ，当 这 些 家 庭 拆 开 邮 包 时 ，更 多 的 可 能 是 欣 喜 ，这 种 欣 喜 将 强 化 顾 客 的 忠 诚 度 ，当 然 ，假 如 顾 客 真 的 坚 持 要 退 货 ，亚 马 逊还有解决办法，一是打折出售，二 是 作 为 礼 物 免 费 赠 送，这 也 有 利 于 亚 马 逊在高端客户中提高口碑。

　　亚 马 逊 有 １ 亿 客 户 ，这 些 人 的 消 费 记 录 ，日 积 月 累 ，可 以 说 是 海 量 数 据 ， 但 数 据 虽 然 多 ，却 没 有 人 会 直 接 将 自 己 的 收 入 高 低 和 兴 趣 爱 好 告 诉 亚 马 逊 ， 所 有 的 预 判 ，亚 马 逊 都 必 须 靠 数 据 挖 掘 来 完 成 。

　　虽 然 数 据 挖 掘 正 如 日 中 天 ，但 一 定 程 度 上 ，数 据 挖 掘 已 经 不 是 大 数 据 的 前 沿 和 热 点 ，取 而 代 之 的 是 机 器 学 习 。 时 下 兴 起 的 机 器 学 习 ，凭 借 的 也 是 计 算 机 算 法 ，但 和 数 据 挖 掘 相 比 ，其 算 法 不 是 固 定 的 ，而 是 带 有 自 调 适 参 数 的 ， 也便是说，它能够跟着核算、挖 掘 次 数 的 增 多，不 断 的 自 动 的 调 整 自 己 算 法 的参数，使发掘和猜测的功用更为 准 确，即 通 过 给 机 器 “喂 取”大 量 的 数 据， 让机器能够像人相同经过学习 逐 步 自 我 改 善 提 高，这 也 是 该 技 术 被 命 名 为 “机 器 学 习 ”的 原 因 。

　　除 了 数 据 挖 掘 和 机 器 学 习 ，数 据 分 析 、使 用 的 技 术 已 经 非 常 成 熟 ，并 且 形成了一个谱系。例如 数 据 仓 库、多 维 分 析 （ＯＬＡＰ）、数 据 可 视 化、内 存 中 剖析（Ｉｎ－ｍｅｍｏｒｙＡｎａｌｙｔｉｃｓ），都是其系统的重要组成部分，在 人 类 数 据 技 术 的 进 步 中 ，都 扮 演 过 重 要 的 角 色 。

　　回忆半个多世纪人类信 息 社 会 的 历 史，正 是 １９６６ 年 提 出 的 摩 尔 定 律， 晶体管越做越小、本钱越来越低，才 是 大 数 据 现 象 形 成 的 物 理 基 础，这 相 当 于铸器，人类有才能制作巨鼎盛载海量的数据；１９８９ 年鼓起的数据发掘，则 适当于把原油炼成石油的技能，是 让 大 数 据 产 生 “大 价 值”的 关 键，没 有 它， 石 油 再 多 ，我 们 也 只 能 望 油 兴 叹 ；２００４ 年 出 现 的 社 交 媒 体 ，则 把 全 世 界 每 个 人 都 转 变 成 了 潜 在 的 数 据 生 成 器 ，向 摩 尔 定 律 铸 成 的 巨 鼎 当 中 贡 献 数 据 ，这 是 “大 容 量 ”形 成 的 主 要 原 因 。

　　剖析了大数据的静态的概 念 和 动 态 的 成 因，我 们 更 清 楚 地 理 解 大 数 据 的 特 点 ，现 在 可 以 从 以 下 几 个 角 度 来 理 解 、定 义 大 数 据 。

　　注：如前文评论，当时人类 的 数 据 约 ７５％ 都 是 非 结 构 化 的 数 据，大 记 录 的 表 现 形 式 主 要 对错结构化数据，而大记载、非结构化数据要 体 现 出 价 值，当 前 主 要 的 处 理 方 法，还 是 把 它 们 转 化 为 有 严 整 结 构 的 数 据 ，即 传 统 的 小 数 据 ，因 此 作 者 认 为 ，大 数 据 的 价 值 维 度 主 要 体 现 在 传 统 的 小 数 据 和 结 构 化 数 据 之 上 ，而 大 数 据 的 容 量 维 度 主 要 体 现 在 大 信 息 、非 结 构 数 据 两 个 方 面 。

　　（ＳｈａｎｇｈａｉＣｈｅｎｇｔａｉＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＬｉｍｉｔｅｄＣｏｍｐａｎｙ） Ａｂｓｔｒａｃｔ：Ｔｈｅｒｉｓｅｏｆｂｉｇｄａｔａｉｓｓｔｅｍｍｉｎｇｆｒｏｍｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ．Ｔｈｅ ｅｘｐｏｎｅｎｔｉａｌｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｃａｐａｂｉｌｉｔｉｅｓｏｆｍａｎｙｄｉｇｉｔａｌｅｌｅｃｔｒｏｎｉｃｄｅｖｉｃｅｓｔｈａｔｉｓｐｒｅｄｉｃｔｅｄｂｙ Ｍｏｏｒｅ＇ｓｌａｗｉｎ１９６６，ｗｈｉｃｈｉｓｂｅｃｏｍｉｎｇａｄｒｉｖｉｎｇｆｏｒｃｅｏｆｔｈｅｐｈｅｎｏｍｅｎｏｎｏｆｂｉｇｄａｔａ，ｈａｓｄｒａｍａｔ－ ｉｃａｌｌｙｅｎｈａｎｃｅｄｔｈｅｉｍｐａｃｔｏｆｉｎｆｏｒｍａｔｉｏｎｓｏｃｉｅｔｙｏｖｅｒｔｈｅｈａｌｆｃｅｎｔｕｒｙ．Ｂｉｇｄａｔａｈａｓｂｅｅｎｃｒｅａｔｉｎｇ＂ ｂｉｇｖａｌｕｅ＂ ｓｉｎｃｅｔｈｅｄｅｖｅｌｏｐｍｅｎｔｏｆｄａｔａｍｉｎｉｎｇｉｎ１９８９．Ａｎｄｔｈｅｒｅｉｓａｎｉｎｃｒｅａｓｉｎｇｔｒｅｎｄｔｏｗａｒｄｓｕ－ ｓｉｎｇｓｏｃｉａｌｍｅｄｉａｍｏｎｉｔｏｒｉｎｇｔｏｏｌｓｔｈａｔａｌｌｏｗｖｅｒｙｓｉｎｇｌｅｐｅｒｓｏｎｉｎｔｈｅｗｏｒｌｄｔｒａｎｓｆｏｒｍｓｉｎｔｏｔｈｅｄａｔａ ｇｅｎｅｒａｔｏｒｓｉｎｃｅ２００４，ｗｈｉｃｈｉｓｔｈｅｍａｉｎｒｅａｓｏｎｏｆｓｈａｐｉｎｇｔｈｅ＂ ｈｉｇｈ－ｃａｐａｃｉｔｙ＂ ．Ｔｈｅｔｈｅｓｉｓｉｓａｉｍｉｎｇ ｔｏｍａｋｅａｃｌｅａｒｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｔｈｅｆｅａｔｕｒｅｓｂｙａｎａｌｙｓｉｓｏｆｔｈｅｄｅｆｉｎｉｔｉｏｎａｎｄｃａｕｓｅｏｆｆｏｒｍａｔｉｏｎｏｆ ｂｉｇｄａｔａ． Ｋｅｙｗｏｒｄｓ：ｂｉｇｄａｔａ，ｃａｕｓｅｏｆｆｏｒｍａｔｉｏｎ，Ｍｏｏｒｅ′ｓｌａｗ，ｄａｔａｍｉｎｉｎｇ，ｓｏｃｉａｌｍｅｄｉａ