一、什么是大数据?

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。



二、大据数技术

大数据技术分为下面四个层面：

1.数据采集

利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析。

2.数据存储和管理

利用分布式文件系统、数据仓库、关系数据库，NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理

3.数据处理与分析

利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好的理解数据、分析数据

4.数据隐私和安全

从大数据中挖掘潜在的商业价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全。

大数据的核心技术主要是： 分布式存储（HDFS） 和 分布式处理(MapReduce)


三、大数据的应用行业

1.电商行业

电商行业是最早将大数据用于精准营销的行业，它可以根据消费者的习惯提前生产物料和物流管理，这样有利于美好社会的精细化生产。随着电子商务的越来越集中，大数据在行业中的数据量变得越大，并且种类非常多。在未来的发展中，大数据在电子商务中有大多的想象，其中主要包括预测趋势，消费趋势，区域消费特征，顾客消费习惯，消费者行为，消费热点和影响消费的重要因素。

2.金融行业

大数据在金融行业的使用是非常广泛的，主要使用在交易过程中。现在许多股权交易都是使用大数据算法进行的。这些算法能够越来越多地考虑社交媒体和网站新闻，并且决定接下来的几秒内是选择购买还是出售。

3.生物技术

基因技术是人类未来挑战疾病的重要武器。科学家可以利用大数据技术的应用，这样能够加速他们自己的基因和其他动物基因的研究过程，并且还能成为人类未来克服疾病的重要武器之一。技术不仅可以改良作物，还可以利用遗传技术培育人体器官，消灭细菌等。