Spark大数据平台

•  课程目标

  本课程首先介绍了Spark生态,Spark基础；深入讲了分布式集群的搭建，Spark编程实战。最后Spark数据分析和数据挖掘MLib,综合项目实战。

•  师资团队

• 华清创客企业内训讲师，均是来自各个领域的资深专家，均拥有6年以上大型项目经验。

•  培养对象

  学员学习本课程应具备下列基础知识：
  ◆ 具备Python语言的基础；
  ◆ 对大数据Spark开发感兴趣的学员；

•  培训方式

第一种：华清创客讲师面授
课时：共3天，每天6学时，总计18学时
◆费用（含教材费）：3600元
◆外地学员：代理安排食宿（需提前预定）

第二种：线上直播授课
直播课时：共6天，每天3学时，总计18学时；
辅导：授课期间，辅导老师每天有1小时的辅导直播
◆费用（含教材费）：3600元

第三种：企业订制培训
课时：根据定制的大纲确定课时
费用：根据课程难度，每课时1500~3000元

• •  质量保证

    1、培训过程中，如有部分内容理解不透或消化不好，可免费在下期培训班中重听；

    2、培训结束后免费提供一个月的技术支持，充分保证培训后出效果；

    3、培训合格学员可享受免费推荐就业机会。

  •  课程大纲

    
    

    Spark入门及生态体系 概述

    Spark生态

    Spark（内存计算框架）

    SparkSteaming（流式计算框架）

    Spark SQL（ad-hoc）

    Mllib（Machine Learning）

    GraphX（bagel将被取代）

    弹性分布式数据集（RDD）

    
    

    Python Spark基础介绍 Spark 编程模型

    RDD缓存策略

    Spark Python编程入门

    PySpark

    惰性计算（Lazy Evaluation）

    流水线（Pipelines）

    
    

    分布式集群搭建 Spark、Hadoop、VMware Ubuntu分布式集群搭建全过程

    Ubuntu基本环境配置

    集群安装准备

    安装配置Hadoop

    安装配置Spark

    
    

    基于Python的Spark编程实战 概述

    连接Spark

    初始化Spark

    使用命令行

    弹性分布式数据集（RDD）

    RDD操作

    RDD持久化

    在集群上部署

    用Python编写的一个简单Spark应用

    
    

    Spark MLlib的使用 机器学习概念

    Spark MLlib介绍

    Spark MLlib架构解析

    MLlib的算法库分析

    用Spark Python构建分类模型

    使用 Spark MLlib 做 K-means 聚类分析

    
    

    Spark案例实战 "1. 互联网金融反欺诈案例分析

    2. Spark RDD编程技巧

    3. 用户数据特征转换解析及Spark实现

    4，分类挖掘算法实现及应用

      1） 使用Spark Decision Tree实现金融反欺诈模型

      2） 使用Spark Navie Bayes实现金融反欺诈模型

      3） Spark分类算法常用场景及开发流程"