大数据技术可以分为大数据存储与处理技术:数据仓库技术和Hadoop;大数据查询与分析、交互分析技术和sqlonhadoop;大数据执行与应用技术,主要是机器学习数据挖掘的开发。
大数据包括以下四个特点:
1海量:数据量巨大,存储单位为TB—EB,数据量以几何级数递增。
2实时性:实时改变流量数据,反应时间只有几秒到十分之一秒。
三。多样性:各种数据,包括结构化、非结构化、纯文本、多媒体数据,格式不统一。
4不确定性:由于数据不完整、不一致、时差、故意欺骗等原因,导致真实性可疑的不确定数据量,可能导致重大损失。