大数据技术原理与应用-林子雨版-课后习题答案.doc

知识点详细内容： 1. 信息化浪潮：历史上经历了三次信息化浪潮。第一次浪潮发生在1980年前后，标志是个人计算机的发明，主要解决信息处理问题，代表公司包括Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等。第二次浪潮发生在1995年前后，以互联网的出现为标志，主要解决信息传输问题，代表公司有雅虎、谷歌、阿里巴巴、百度、腾讯等。第三次浪潮发生在2010年前后，标志是物理网和云计算的发展，主要应对信息爆炸，预示着将会有一批新兴市场标杆企业的涌现。 2. 数据产生方式：人类社会的数据产生方式经历了三个阶段。初期是运营式系统阶段，其次是用户原创内容阶段，最新阶段为感知式系统阶段。 3. 大数据特征：大数据有四个基本特征，分别是数据量大、数据类型繁多、处理速度快和价值密度低。 4. 数据爆炸特性：在大数据时代，“数据爆炸”的特性体现为人类社会产生的数据以每年50%的速度增长，大约每两年数据总量就会翻一番。 5. 数据研究阶段：在科学研究的历史上，数据研究经历了四个阶段，分别是实验、理论、计算、和数据。 6. 大数据对思维方式的影响：大数据时代对思维方式的重要影响体现在三种思维的转变上，即从抽样思维转为全样思维，从追求精确转为追求效率，以及从关注因果关系转为关注相关关系。 7. 大数据决策与传统决策的区别：大数据决策与传统的基于数据仓库的决策的区别在于，大数据决策面向的是大量非结构化的数据，并能实时探测数据变化，提供实时的查询分析和自动规则触发功能，而数据仓库侧重于批量和周期性的数据处理。 8. 大数据应用举例：大数据的应用涵盖多个领域，如金融行业的高频交易、社区情绪分析和信贷风险分析；汽车行业的无人驾驶汽车；互联网行业的客户行为分析、商品推荐和有针对性的广告投放；个人生活中的个性化服务提供。 9. 大数据的关键技术：大数据的关键技术包括批处理计算、流计算、图计算和查询分析计算。 10. 大数据产业技术层面：大数据产业包含的关键技术层面有IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层。 11. 云计算与物联网定义：云计算提供了通过网络可伸缩的、廉价的分布式计算机能力，用户可以随时随地获取所需IT资源。物联网是物物相连的互联网，利用通信技术将传感器、控制器、机器、人类等连接起来，实现信息化和远程管理控制。 12. 大数据、云计算和物联网的关系：三者相辅相成，大数据依赖于云计算提供的IT资源进行海量数据分析；物联网作为数据的源头，为大数据分析提供必要数据，而云计算和大数据技术支撑着物联网的发展。 第二章： 1. Hadoop与谷歌技术关系：Hadoop的核心技术包括分布式文件系统HDFS和MapReduce，其中HDFS是谷歌文件系统GFS的开源实现，MapReduce则是谷歌MapReduce的开源实现。 2. Hadoop特性：Hadoop具备高可靠性、高效性、高可扩展性、高容错性，运行成本低，主要运行在Linux平台，支持多种编程语言。 3. Hadoop应用情况：Hadoop被广泛应用于多个领域。例如，雅虎建立了一个大规模的Hadoop集群系统；Facebook将Hadoop用于日志处理、推荐系统和数据仓库；百度利用Hadoop进行日志存储和统计、网页数据挖掘等。 4. Hadoop项目结构及功能：Hadoop项目结构包括Pig、Chukwa、Hive、HBase、MapReduce、HDFS、Zookeeper、Common、Avro等部分，每个部分都有具体的功能。例如，Common为Hadoop其他子项目提供支持，包括文件系统、RPC和序列化库；Avro用于数据序列化，提供丰富的数据结构类型。