最新凯时

      如果说“互联网+”时代的传统产业与互联网,已从昔日的“+互联网”完成了“互联网+”的转变;而助力“+”地位转换的力量,则来自于大数据,来自于信息化的量变向数据化的质变。“互联网+”的实质是信息化的个体间的物理性连通,而个体与个体的碰撞,则很难从要素的融合上实现化合、分解、置换的化学性新生效应。“大数据+”则是对“+”入互联网的个体的信息化深化—数据化。
互联网环境下的多源异构大数据

互联网环境下企业进行大数据分析可以获得以下多源异构数据,获取更加相关的决策信息,具体包括:

图1 互联网环境下的多源异构大数据
企业数据 ERP、SCM、CRM、OA等内部系统提供的数据,以及通过问卷获得的对特殊问题的企业调查数据;
官方数据 政府部门或企业直接提供的数据或数据接口,比如国家统计局数据、国资委数据或政府构建的大数据平台;
半官方数据 如各类行业协会、俱乐部发布的数据,这些数据本身是小数据, 但是把这些不同维度的小数据综合起来可以得到全景视角;
各互联网平台的数据 如京东、淘宝、天猫,有些会免费开放数据,有些是付费的,有些是封闭的;
专业机构数据 由一些专门从事数据采集的机构收集的数据,像市场调研企业;
互联网环境下的社会媒介数据 网络新媒体是相对于报刊、广播、电视等传统媒体而言的新的媒体形态,涵盖了所有数字化的媒体形式。
多源异构大数据的特征

大数据时代数据的极大丰富为人们提供了更大的利用价值,但是数据的海量产生和新的特征也使人们面临的问题空前复杂化,呈现出如图2的特征:

图2 多源异构大数据的特征
割裂的多源异构数据 目前需要处理的数据是多源异构的,而且这些数据被物理地存放在不同的系统中。这些割裂的多源异构数据造成了各种数据孤岛,给大数据分析处理带来非常大的挑战,需要把这些割裂的数据整合到统一的系统中。
跨媒体、跨语言的关联 需要处理的数据有结构化数据、半结构化数据和非结构数据,这对数据关联的发现提出了挑战,尤其是图片、视频、音频数据与文本数据的关联。
数据规模与数据价值的矛盾 当下,数据越来越丰富,提供了更多有价值的信息,但数据的规模也越来越大,对已有的数据存储和处理方法提出了挑战,需要对融合的规模进行控制
实体和关系的动态演化 数据是动态变化的,实体和关系也是随时间不断演化的,这就增加实体和关系的判别难度,容易造成数据不一致。
知识的隐含性 企业经营决策中,除显示知识外还有隐式知识,而隐式关系往往比显示知识更重要。
大数据融合与关联分析

大数据融合的任务是将结构化、半结构化、非结构化数据集中,形成表层知识,即知识资源;进而使隐性知识显性化,使表层知识上升为普适机理。数据融合迫切需要将多源数据动态提取、整合并且转化为知识资源,为知识融合奠定基础;而知识融合需要面向需求和服务,对知识和知识间的关系进行不同维度和粒度的理解,使知识具有可理解性和可领悟性,进而方便解释客观现象。

大数据价值链是一个“离散数据→集成化数据→知识理解→普适机理凝练→解释客观现象、回归自然”这样一条阶梯式循环过程,每一个链条是对大数据的一次价值提升。

图3 大数据融合框架

我们可以通过上图来了解大数据融合的基本框架。数据融合负责将多源数据动态提取、整合并且转化为知识资源,为知识融合奠定基础,而知识融合负责对知识和知识间的关系进行不同粒度的理解,使知识具有不同层次的可理解性和可领悟性,进而方便解释客观现象。数据融合和知识融合不是孤立存在的,知识融合中获取的知识可以作为数据融合的参考因素辅助数据融合;而数据融合也不仅是为知识融合提供集成化数据,其中的一些方法同样对知识融合有借鉴作用。此外,还有2个贯穿整个大数据融合过程的操作,即数据溯源和动态演化,它们保证了大数据融合的与时俱进和可理解性。这种融合方式的优势在于通过双环互动、启发动态演化地逐步探索大数据融合问题,并且融合过程的每个步骤都是大数据价值的一次提升过程。

最新凯时优势及为客户解决的问题

我们可以通过上图来了解大数据融合的基本框架。数据融合负责将多源数据动态提取、整合并且转化为知识资源,为知识融合奠 定基础,而知识融合负责对知识和知识间的关系进行不同粒度的理解,使知识具有不同层次的可理解性和可领悟性,进而方便解释客观现象。数据融合和知识融合不是孤立存在的,知识融合中获取的知识可以作为数据融合的参考因素辅助数据融合;而数据融合也不仅是为知识融合提供集成化数据,其中的一些方法同样对知识融合有借鉴作用。此外,还有2个贯穿整个大数据融合过程的操作 ,即数据溯源和动态演化,它们保证了大数据融合的与时俱进和可理解性。这种融合方式的优势在于通过双环互动、启发动态演化地逐步探索大数据融合问题,并且融合过程的每个步骤都是大数据价值的一次提升过程。