大数据-复习资料

一、 填空题（2分×15）

1. 大数据时代，数据使用的关键是                 。

2. HDFS 中的 block 默认保存的备份数量是                  。

3.删除HDFS上的/tmp/xxx目录                  。

4.使用ntpdate向master.hadoop主机校时             。

5.Hadoop大数据平台的存储主要用的是             。

6.为HDFS文件系统中/1daoyun目录创建快照             。

7.在Linux命令行启动Hiveserver2的命令是                  。

8.在HDFS分布式文件系统中             负责数据存储。

9.MapReduce编程模型中             组件是最后执行的。

10.实现把本地文件（/opt/test.txt）上传到HDFS路径（/user/input/）中的命令是                               。

11.加载Hive的JDBC驱动可以使用的代码是：

12.在Mairadb中赋予用户root访问数据库db（数据库密码为bigdata）的权限的关键命令是:

13.Webmagic的核心组件是           和          ，调用这两个核心组件是通过            类

14.Mahout自带的将文本文件转换成SequenceFile的命令是            。

15.Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是          。

二、简答题（8分*5）

1. 业界（IBM 最早定义）将大数据的特征归纳为4个V，分别是什么？

2．未来在大数据领域最具有价值的是2种事物分别是什么？

3. 简要描述MapReduce的工作机制是什么？

4. 在HDFS文件系统的根目录下创建目录“bigdata”，先根据题目下方提示下载BigDataSkills.txt文件，上传到bigdata目录中，使用相关命令查看文件系统中bigdata目录下BigDataSkills.txt文件的内容。

（BigDataSkills.txt文件可使用命令获取：wget http:// 192.168.103.2/data/BigDataSkills.txt）

5.将镜像XianDian-BigData-v2.0.5-BASE.iso挂载到mnt目录下，将该目录下的jdk-8u77-linux-x64.tar.gz压缩包解压到/usr/jdk64/目录下，并配置java环境变量（jdk版本为1.8.0_77）。

三 编程题（10分×3）

1.利用echarts制作简单的柱状图表，在横线处填入相应的代码

<!DOCTYPE html>

<html>

<head>

    <meta charset="utf-8">

    <title>ECharts</title>

    <!-- 引入 echarts.js -->

</head>

<body>

    <!-- 为ECharts准备一个具备大小（宽高）的Dom -->

    <script type="text/javascript">

        // 基于准备好的dom，初始化echarts实例

        // 指定图表的配置项和数据

        var option = {

            title: {

                text: 'ECharts 入门示例'

            },

            tooltip: {},

            legend: {

                data:['销量']

            },

            xAxis: {

                data: ["衬衫","羊毛衫","雪纺衫","裤子","高跟鞋","袜子"]

            },

            yAxis: {},

            series: [{

                name: '销量',

                type: 'bar',

                data: [5, 20, 36, 10, 10, 20]

            }]

        };

        // 使用刚指定的配置项和数据显示图表。

    </script>

</body>

</html>

2.使用Java API编写代码实现HDFS文件的上传。

3.使用Java API编写代码实现对Hive连接。