失效链接处理 |
Spark零基实战 PDF 下蝲
转蝲自:(x)https://www.jb51.net/books/625804.html
本站整理下蝲Q?/strong>
版权归出版社和原作者所有,链接已删除,误买正?/b>
用户下蝲说明Q?/strong>
?sh)子版仅供预览,下蝲?4时内务必删除,支持正版Q喜Ƣ的误买正版书c:(x)
http://product.dangdang.com/24103873.html
相关截图Q?br />
![]() 资料介:(x) Spark是业界公认的q几q发展快、受x(chng)度的一体化多元化的大数据计技术,可以同时满不同业务场景和不同数据规模的大数据计的需要?/span> 本书首先通过代码实战的方式对学习(fn)Spark前必L握的Scala内容q行讲解q结合Spark源码的阅L帮助读者快速学?fn)Scala函数式编E与面向对象完美l合的编E艺术,接着对Hadoop和Spark集群安装部v以及(qing)Spark在不同集成开发环境的开发实战(sh)Z(jin)详细的讲解,然后Z大量的实战案例来讲解Spark核心(j)RDD~程q深度解密RDD的密码,q且通过实战的方式详解了(jin)TopN在Spark RDD中的实现Qؓ(f)?jin)让读者彻底了(jin)解SparkQ本书用?jin)大量的幅详细解密了(jin)Spark的高可用性、内核架构、运行机制等内容?/span> Spark零基实战q本书定位于零基的学员,也可以作为有一定大数据Hadoopl验的从业者以?qing)对大数据非常感兴趣的学生的本Spark入门书籍?/span> 资料目录Q?/strong> W?章Scala光速入? 1.1Scala基础与语法入门实? 1.1.1Scala基本数据cd1 1.1.2Scala变量声明2 1.1.3术操作W介l? 1.1.4条g语句5 1.1.5循环6 1.1.6异常控制8 1.2Scala中Array、Map{数据结构实?0 1.2.1定长数组和可变数l?0 1.2.2数组常用法10 1.2.3Map映射11 1.2.4Tuple元组12 1.2.5List列表12 1.2.6Set集合14 1.2.7Scala集合Ҏ(gu)大全15 1.2.8l合案例?qing)Spark源码解析17 1.3结18 W?章Scala面向对象d_N及(qing)Spark源码阅读19 2.1Scala面向对象详解19 2.1.1Scala中的class、object初介l?9 2.1.2L造器与辅助构造器22 2.1.3cȝ字段和方法彻底精?3 2.1.4抽象cR接口的实战详解24 2.1.5Scala Optionc详?6 2.1.6object的提取器27 2.1.7Scala的样例类实战详解27 2.2Scalal合案例?qing)Spark源码解析28 2.3结29 W?章Scala函数式编E彻底精通及(qing)Spark源码阅读30 3.1函数式编E概q?0 3.2函数定义35 3.3函数式对?7 3.4本地函数41 3.5头等函数42 3.6函数字面量和占位W?3 3.6.1Scala占位W?3 3.6.2函数字面?3 3.6.3部分应用函数44 3.7闭包和Curring46 3.8高阶函数49 3.9从Spark源码角度解析Scala函数式编E?5 3.10结57 W?章Scala模式匚w、类型系l彻底精通与Spark源码阅读58 4.1模式匚w语法58 4.2模式匚w实战59 4.2.1模式匚w基础实战59 4.2.2数组、元实?9 4.2.3Option实战60 4.2.4提取?0 4.2.5Scala异常处理与模式匹?1 4.2.6sealed密封c?2 4.3cdpȝ62 4.3.1泛型62 4.3.2边界63 4.3.3协变?sh)逆变63 4.4Spark源码阅读64 4.5结65 W?章Scala隐式转换{彻底精通及(qing)Spark源码阅读66 5.1隐式转换66 5.1.1隐式转换的用条?6 5.1.2隐式转换实例66 5.2隐式c?8 5.3隐式参数详解68 5.4隐式?9 5.5Spark源码阅读解析69 5.6结70 W?章ƈ发编E及(qing)Spark源码阅读71 6.1q发~程d详解71 6.1.1actor工作模型71 6.1.2发送消?2 6.1.3回复消息74 6.1.4actor创徏74 6.1.5用上下文context创徏actor75 6.1.6用ActorSystem创徏actor76 6.1.7用匿名类创徏actor76 6.1.8actor生命周期77 6.1.9l止actor78 6.1.10actor实战80 6.2结82 W?章源码编?3 7.1Windows下源码编?3 7.1.1下蝲Spark源码83 7.1.2Sbt方式84 7.1.3Maven方式89 7.1.4需要注意的几个问题90 7.2Ubuntu下源码编?2 7.2.1下蝲Spark源码93 7.2.2Sbt方式95 7.2.3Maven方式96 7.2.4makedistribution.sh脚本方式98 7.2.5需要注意的几个问题99 7.3结100 W?章Hadoop分布式集环境搭?01 8.1搭徏Hadoop单机环境101 8.1.1安装软g下蝲101 8.1.2Ubuntupȝ的安?01 8.1.3Hadoop集群的安装和讄109 8.1.4Hadoop单机模式下运行W(xu)ordCountCZ113 8.2Hadoop伪分布式环境115 8.2.1Hadoop伪分布式环境搭徏115 8.2.2Hadoop伪分布式模式下运行W(xu)ordCountCZ117 8.3Hadoop完全分布式环?20 8.3.1Hadoop完全分布式环境搭?20 8.3.2Hadoop完全分布式模式下q行W(xu)ordCountCZ123 8.4结125 W?章精通Spark集群搭徏与测?27 9.1Spark集群所需软g的安?27 9.1.1安装JDK127 9.1.2安装Scala130 9.2Spark环境搭徏132 9.2.1Spark单机与单Z分布式环?32 9.2.2Spark Standalone集群环境搭徏与配|?35 9.2.3Spark Standalone环境搭徏的验?36 9.3Spark集群的测?37 9.3.1通过sparkshell脚本q行试137 9.3.2通过sparksubmit脚本q行试145 9.4结145 W?0章Scala IDE开发SparkE序实战解析146 10.1Scala IDE安装146 10.1.1Ubuntupȝ下安?46 10.1.2Windowspȝ下安?47 10.2ScalaIDE开发重Ҏ(gu)骤详?48 10.3Wordcount创徏实战152 10.4Spark源码导入Scala IDE154 10.5结164 W?1章实战详解IntelliJ IDEA下的SparkE序开?65 11.1IDEA安装165 11.1.1Ubuntupȝ下安?65 11.1.2Windowspȝ下安?67 11.2IDEA开发重Ҏ(gu)骤详?68 11.2.1环境配置168 11.2.2目创徏170 11.2.3Spark包引?74 11.3Wordcount创徏实战174 11.4IDEA导入Spark源码177 11.5结183 W?2章Spark?84 12.1Spark发展历史184 12.2Spark在国内外的?85 12.3Spark生态系l简?88 12.3.1Hadoop生态系l?89 12.3.2BDAS生态系l?95 12.3.3其他199 12.4结199 W?3章Spark RDD解密200 13.1谈RDD200 13.2创徏RDD的几U常用方?04 13.3Spark RDD API解析?qing)其实?06 13.4RDD的持久化解析?qing)其实?17 13.5结218 W?4章SparkE序之分lTopN开发实战解?19 14.1分组TopN动手实战219 14.1.1Java之分lTopN开发实?19 14.1.2Scala之分lTopN开发实?26 14.2Scala之分lTopNq行原理解密232 14.2.1textFile232 14.2.2map234 14.2.3groupByKey234 14.3结237 W?5章MasterHA工作原理解密238 15.1Spark需要Master HA的原?38 15.2Spark Master HA的实?38 15.3Spark和ZOOKEEPER的协同工作机?40 15.4ZOOKEEPER实现应用实战242 15.5结247 W?6章Spark内核架构解密248 16.1Spark的运行过E?48 16.1.1SparkContext的创E?48 16.1.2Driver的注册过E?49 16.1.3Worker中Q务的执行254 16.1.4d的调度过E?55 16.1.5Job执行l果的?57 16.2结259 W?7章Sparkq行原理实战解析260 17.1用户提交E序Driver端解?60 17.1.1SparkConf解析263 17.1.2SparkContext解析264 17.1.3DAGScheduler创徏271 17.1.4TaskScheduler创徏272 17.1.5SchedulerBackend创徏273 17.1.6Stage划分与TaskSet生成274 17.1.7d提交280 17.2Sparkq行架构解析283 17.2.1Spark基本lg介绍283 17.2.2Spark的运行逻辑285 17.3Spark在不同集上的运行架?91 17.3.1Spark在Standalone模式下的q行架构291 17.3.2Spark on yarn的运行架?94 17.3.3Spark在不同模式下的应用实?97 17.4Sparkq行架构的实战解?00 17.5结307 |