《大数据技术导论》教学大纲.docx

大数据技术导论
Introduction of Big Data Technology
一、课程基本情况课程类别：专业任选课
课程学分：2学分课程总学时：32学时，其中讲课：32学时
课程性质：选修开课学期：第6学期
先修课程：数据结构，数据库原理，面向对象Java程序设计适用专业：信息工程
教材：自编开课单位：电子与信息工程学院，信息工程系
二、课程性质、教学目标和任务
大数据技术导论课程从大数据的开展与现状入手，面向本科生主要介绍了大数据开发的 相关技术，并讨论了大数据技术的具体应用。重点介绍了工业界流行的SPARK大数据开发平 台，讨论了 SPARK大数据平台的基本结构和基本原理。在此基础上，全面剖析如何使用SPARK 进行大数据开发，并配以应用实例。通过教学使学生全面了解当前大数据技术动态和开展趋 势，并可针对自己面临的大数据问题找到可行的解决方案。
三、教学内容和要求1、大数据技术概述（2学时）
（1）掌握大数据的定义及特征
（2）理解大数据结构类型
（3） 了解大数据开展史和大数据在各领域的广泛应用
（4）初步了解大数据技术架构重点：大数据的定义和特征、大数据结构特征和大数据应用
难点：大数据技术架构2、SPARK大数据平台基础（6学时）
（1）理解RDD的概念和RDD在SPARK平台中的重要作用
（2）理解RDD的变换和行为，了解延后计算的概念
（3）掌握SPARK中常见的变换和行为
（4）掌握RDD的类型转换方法
（5）理解RDD的持久化重点：理解RDD的概念与作用，掌握SPARK中RDD常见的变换和行为
难点：理解RDD的变换和行为，理解延后计算的作用和RDD的持久化3、Scala语言基础（4学时）
（1）掌握Scala语言的基本语法
（2）理解Scala语言的函数式编程风格
（3）掌握Scala语言的开发环境与调试方法重点：Scala语言的基本语法，Scala语言的开发环境
难点：理解Scala语言的函数式编程风格4、SPARK编程基础（4学时）
（1）理解SPARK中的键/值对
（2）掌握键/值对的基本变换，如聚集、分组、联合、排序等
（3）掌握键值对的数据分割，并理解哪些操作会影响数据分割重点：理解键/值对在SPARK中的作用，掌握键/值对的基本变换
难点：理解键/值对的数据分割5、SPARK数据的持久化（4学时）
（1）了解基本的数据格式，文本文件、JSON格式等
（2）理解序列文件和对象文件
（3）掌握SPARK对HadoopHDFS的支持
（4） 了解SPARK对于NoSQL的支持，弹性检索等概念重点：掌握序列文件的读写，掌握HDFS的读写
难点：理解SPARK数据持久化的概念6、SPARK机器学习库MLib的使用（6学时）
（1）理解SPARK相对于Map-Reduce适宜于机器学习的优势
（2）掌握MLib中常见机器学习算法的使用，如K・Means, ALS等
（3）掌握MLib解决典型的数据分析问题，如推荐系统、图像分类等重点：掌握MLib中典型机器学习算法的使用
难点：如何应用MLib解决真实的数据分析问题7、SPARK在集群上的部署（4学时）
（1）理解SPARK的运行体系结构
（2） 了解SPARK如何在集群中启动一个任务重点：SPARK的运行体系结构
难点：掌握SPARK启动任务的具体流程8、数据科学与数据科学家（2学时）
（1）理解数据科学、数据科学家的概念和定义
（2） 了解数据分析生命周期模型
（3）掌握企业创新分析方面的范例重点：数据科学、数据科学家的概念和定义
难点：数据分析生命周期模型四、课程考核
1、作业等：作业：4次；2、考核方式：开卷考试
3、总评成绩计算方式：（平时成绩、实验成绩、期中考试成绩和期末考试成绩等综合计 算）五、参考书目
1、《学习 Spark（影印版）》东南大学出版社；Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, 2015 年 8 月 1 日，第 1 版；2、《Spark高级数据分析（影印版）》东南大学出版社；Sandy Ryza, Uri Laserson, Sean Owen, Josh Wills, 2015 年 9 月 1 日，第 1 版；