大数据开发笔试.docx

大数据开发笔试全文共4页，当前为第1页。大数据开发笔试全文共4页，当前为第1页。1、 hdfs原理，以及各个模块的职责 大数据开发笔试全文共4页，当前为第1页。 大数据开发笔试全文共4页，当前为第1页。 答：Hadoop Distributed File System即： Hadoop分布式文件系统，就是把数据划分成不同的Block分别存储在不同节点的设备上。它分为两个部分：NameNode和DateNode，NameNode相当于一个领导，将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。它管理集群内的DataNode，当客户发送请求过来后，NameNode会根据Meta-data指定存储到哪些DataNode上，而其本身并不存储真实的数据。 2、 mr的工作原理 答：当客户提交作业后，MapReduce库先把任务splits不同的块，然后根据"移动计算比移动数据更明智"的思想，把任务分发到各个DataNode上。在不同的DataNode上分别执行Map操作，产生键值对，然后通过shuffl