ScalaPie | 阶图智派

Hadoop之4-HDFS HA配置

———手动故障转移

本文承接上文，进行高可用集群的配置。HDFS高可用和RM高可用会分多篇文章来叙述。相对于简易分布式集群而言，高可用集群其实就是多了替补。 hadoop在以下4个方面的举措提升了hadoop集群的高可用性：设置dfs.replication参数，可以使数据本身有备份，而且要求备份处于不同的机架上设置NameNode的个数，防止一个挂了集群停止工作（因为NameNode负责管理元数据和数据读写，

Posted by ScalaPie on March 15, 2019

Hadoop之3-简易集群架构设计及配置

———NN/DN/RM/NM/HS

在进行高可用集群配置前，可先行配置简易集群，然后再在其上增加配置项即可。本文先带领大家配置一个简易的集群，高可用集群会在下一节中再详细讨论。 1. 集群基本设计(3台机器) th {background-color: pink;} TimeMachine02 TimeMachine03 TimeMachine04 NameNode DataNode DataNode

Posted by ScalaPie on March 4, 2019

谈管理之4-要不要和下属做朋友

———慈不带兵，义不行贾

领导与下属之间的关系，是职场最核心的关系。如果需要回答要不要和下属做朋友这个问题，不如先问一下自己：和下属做朋友或者和下属之间建立友谊对工作关系有没有帮助？如果你觉得对于工作有帮助有增益，那么和下属建立友谊是完全可行的，但是如果你觉得别扭或者对工作有损害，那么则必须避免，这个答案因人而异。领导和下属是基于共同利益走到一起的，掺杂着利益的友情，常人难以驾驭。因此，这个答案虽然因人而异，但是于我

Posted by ScalaPie on February 26, 2019

谈管理之3-用军官的标准训练普通士兵

———不要等到火烧眉毛才培训

没有受到良好培训的员工就算再怎么努力，结果仍然会是效率低下、成本增加、客户不满，有时甚至还会使公司陷入危机。很多人会以为，培训是hr的事情，hr多搞点培训课程，多从外面请点老师来给大家上课就行了。但是外面的老师来公司内部讲课会有一个弊端，那就是针对性不强，无法很好解决自己团队存在的问题。自己给下属培训有一个很大的优点便是，能够针对大家存在的共性问题进行引导，并针对每个个体存在的独特问题加以点拨

Posted by ScalaPie on February 22, 2019

谈管理之2-做团队的榜样

———身先为范，言传不如身教

面试过程中，很多人会提到一个词，团队氛围。这是一个很虚的词语，但是确实又是可以真切感受到的，不同的团队有不同的味道。我一直在思考一个问题，那就是这些很虚幻的「存在物」，它们的形成机制，以及如何被团队成员感知。在上一家公司工作的时候，明显感觉团队氛围越来越差，虽然业务做的不差，但是随着团队分崩离析，人员逐渐被同公司其它部门兼并。同事们茶余饭间讨论的是，那群不务正业的中层管理人员，这些「糟老头子坏的

Posted by ScalaPie on February 21, 2019

谈管理之1-给团队减负

———减负，是为了更好的前行

之前所在的公司组织过两次管理培训，自己也研究了一些谈管理的书籍。但我始终觉得哪儿不对劲，也许是感觉太不切实际了吧，总感觉离自己有点远。因此想结合这些知识，加上自己的团队管理心路历程，总结一下自己一路遇到的管理问题和困惑，以及自己是如何思考并解决这些问题的。刚加入现在的公司的时候（2018年6月），发现团队有以下的一些问题（当然每个公司都会有大大小小的各种问题，这是正常现象，如果对现在的公司不满意

Posted by ScalaPie on February 20, 2019

深入理解ClickHouse之9-可视化查询及集群状态监测

———看见集群，看见你的数据库

利用tabix可以实现对ClickHouse集群的可视化：SQL语法高亮及补全、查询结果可视化、集群状态可视化、数据库数据表可视化。实现ClickHouse集群可视化有很多种方案，具体可以见官网，这里采用的是tabix的解决方案，tabix是俄罗斯人开发的专为ClickHouse可视化的开源项目。使用tabix最简单的方式是直接打开 http://ui.tabix.io 这个网址，然后输

Posted by ScalaPie on January 25, 2019

此生挚友Scala之7-Option

———monadic Option

本文将衔接之前的文章，继续深入的介绍一元集合Option。 Option类型表示一个值的存在或者不存在，它由两个子类型Some和None提供具体实现，分别表示有值和无值。 1. 简单示例 Option提供了一种类型安全的方法来处理函数结果或空集合，告诉调用者值可能为空或者不存在。比如headOption~ 2. Option构造使用和方法可以判断Option是None还是Some。 3. 从

Posted by ScalaPie on January 22, 2019

此生挚友Scala之6-类类型

———classes

本文将衔接之前的文章，继续深入的介绍引用类型中的类类型。类是任何编程语言中特别是面向对象编程中最重要的内容之一，而scala在面向对象的基础上，增加了一些特别的类类型(如object， case class， trait)，这些类型是为了契合函数式编程的数据表达而创造的。 1. 简单回顾在讲类类型之前，先简单的回顾下之前讲过的Scala类型体系大图： 2. 各种类类型及其异同点 th {bac

Posted by ScalaPie on January 21, 2019

此生挚友Scala之5-集合类型

———Collections: List/Map/Set/Seq

本文将衔接之前的文章，来深入的介绍引用类型中的集合类型。 1. 简单回顾在讲集合类型之前，先简单的回顾下之前讲过的Scala类型体系大图： 2. List/Map/Set List/Map/Set是三大常用集合。List相当于一个单向链表。Map相当于Pyhotn中的字典，可以理解为键值对。Set最大的特点是可以容纳不同类型的元素。以上三大集合均为不可变集合（immutable collecti

Posted by ScalaPie on January 18, 2019

ScalaPie's Blog