学习笔记：大数据

介绍

• 该篇记录了关于大数据方向的某些重要知识点
• 如有任何问题，欢迎指出

一、基本概念和定义

1.大数据

• 可以理解为多个数据集

2.大数据的工作内容：

• 数据获取——传统互联网厂商通过底层用户反馈得到数据；传统行业可以通过传感器来进行获取数据；个人使用python爬虫获取数据。

• 数据存储——将获取到的数据存储在本地。存储设备、HDFS、Hbase、Hive。

• 数据分析——对数据进行表象性的进行分析操作

• 数据挖掘——对数据进行深入的挖掘操作，找到数据与数据、类别与类别、属性与属性之间的深层次的关联。

3.数据发展阶段：

• 数据早期形态——上游向低位向下流

• 数据发展时期——即时通信出现，冲击短信行业

• 数据推送阶段——底层一对多辐射

• 数据反向流通阶段———上游收到下游的信息

4.基本概念

• 结构化数据——数据能够以二维表格表示的数据（文本。数据库）

• 非结构化数据——数据无法以二维表格表示的数据（图片、视频）

• 半结构化数据——具有一定结构化数据，但又不能全部表示的数据（xml网页）

• 集群——（厨师与厨师枝江的关系）

• 分布式——（厨师与小工的关系）

二、大数据存储技术

1.集群NAS

• 发展——DAS（维护操作、文件、存储系统）-SAN（维护操作和文件系统）-NAS（只维护操作系统）

• 优势——采用双工模式

• NAS的组件——存储、引擎、网络协议

2.HDFS分布式文件系统

• 特性——高容错性（认为硬件是不可靠的）、高吞吐量、大文件存储（HDFS的元数据是固定大小150bit）、支持流式数据访问