大数据处理与挖掘

•  课程目标

  本课程对大数据相关的主要技术进行了总体讲解。包括大数据的必备基础知识；Hadoop生态相关的重要知识比如HDFS/YARN/MapReduce、集群、shell的系统讲解；并重点讲解了Hive相关的理论知识和实战讲解了操作；讲解目前大数据领域热门、火爆、有前景的技术——Spark。从浅入深，基于大量案例实战，深度剖析和讲解Spark，并且会包含完全从企业真实复杂业务需求中抽取出的案例实战；最后讲解了数据分析和数据挖掘技术。

•  师资团队

• 华清创客企业内训讲师，均是来自各个领域的资深专家，均拥有6年以上大型项目经验。

•  培养对象

  学员学习本课程应具备下列基础知识：
  ◆ 具备java\Python等编程语言的基础；
  ◆ 对大数据开发感兴趣的学员；

•  培训方式

第一种：华清创客讲师面授
课时：共3天，每天6学时，总计18学时
◆费用（含教材费）：3600元
◆外地学员：代理安排食宿（需提前预定）

第二种：线上直播授课
直播课时：共6天，每天3学时，总计18学时；
辅导：授课期间，辅导老师每天有1小时的辅导直播
◆费用（含教材费）：3600元

第三种：企业订制培训
课时：根据定制的大纲确定课时
费用：根据课程难度，每课时1500~3000元

• •  质量保证

    1、培训过程中，如有部分内容理解不透或消化不好，可免费在下期培训班中重听；

    2、培训结束后免费提供一个月的技术支持，充分保证培训后出效果；

    3、培训合格学员可享受免费推荐就业机会。

  •  课程大纲

    内容简介 授课详细内容

    
    

    大数据概览 "1. 大数据简介

    2. 大数据处理流程（采集／传输／分析／挖掘）

    3. 大数据平台有哪些及各自特点

    4. 大数据技术有哪些？各自处理哪些场景？"

    
    

    Hadoop实战 "1. Hadoop简介

    2. HDFS/YARN/MapReduce原理简单剖析

    3. Hadoop集群配置环境"

    "4. Hadoop常用Shell操作

    5. MapReduce编程简析及平均分统计操作"

    
    

    Hive实战 "1. Hive数据仓库集群平台体系架构

    2. Hive原理与工作机制

    3. Hive安装配置"

    "4. Hive 应用开发技巧及数据库表设计

    5. 基于Hive的Sogou日志分析"

    
    

    Spark实践 "1. Spark简介

    2. Spark原理深入分析

    3. Spark整合Hadoop安装配置

    4. Spark整合大数据仓库Hive实践"

    "大数据数据分析与挖掘技术

    
    

    Spark Mllib" "1. 互联网金融反欺诈案例分析

    2. Spark RDD编程技巧

    3. 用户数据特征转换解析及Spark实现

    4，分类挖掘算法实现及应用

      1） 使用Spark Decision Tree实现金融反欺诈模型

      2） 使用Spark Navie Bayes实现金融反欺诈模型

      3） Spark分类算法常用场景及开发流程"