Liam's Blog

Extend Spark Data Source with DataFrame

2022-04-25T14:39:17.000Z

In this article, we’ll implement a spark data source for reading and writing a Google spreadsheet, so that you’ll know how to extend the data source of Spark by yourself.

What’s a customized data source like?

read data from Google Spreadsheet into a DataFrame

val data = spark.read.format("google-spreadsheet")
  .option("credentialsPath", credentialFile)
  .option("spreadsheetId", spreadsheetId)
  .option("sheetName", sheetName1)
  .load()

write data of a DataFrame into Google Spreadsheet

df.write.format("google-spreadsheet")
  .option("credentialsPath", credentialFile)
  .option("spreadsheetId", spreadsheetId)
  .option("sheetName", sheetName)
  .mode(SaveMode.Overwrite)
  .save()

How to solve dependency conflicts with Maven

2021-09-24T12:25:25.000Z

What are dependency conflicts?

Here is an example, this project has 2 dependencies, and both of them depend on the Guava library with different versions.

<!-- Project dependencies -->
    <dependencies>
        <dependency>
            <groupId>org.example</groupId>
            <artifactId>study-maven-2</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
        <dependency>
            <groupId>org.example</groupId>
            <artifactId>study-maven-3</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
    </dependencies>

<groupId>org.example</groupId>
    <artifactId>study-maven-2</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>30.1.1-jre</version>
        </dependency>
    </dependencies>

<groupId>org.example</groupId>
    <artifactId>study-maven-3</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>29.0-jre</version>
        </dependency>
    </dependencies>

As you all know, we can’t have two classes with the same package and name in one project. So there would be conflicts if different versions of a package are imported. Obviously, in this case, only one version of Guava will be imported.

Kafka Fundamental Concepts

2021-05-08T09:16:13.000Z

What is Kafka?

Apache Kafka is an event streaming platform used to collect, process, store, and integrate data at scale. It has numerous use cases including distributed logging, stream processing, data integration, and pub/sub messaging.

Details you need to know about Apache Parquet

2020-05-31T04:25:42.000Z

Parquet is a columnar file format that supports nested data. Lots of data systems support this data format because of it’s great advantage of performance.

基于Redis实现分布式锁和分布式限流器

2020-03-29T04:37:12.000Z

分布式锁和分布式限流器应该是算是比较常见的需求了，而Redis现在几乎是应用的标配了，于是很多人会倾向于选择基于Redis来实现，因为不需要引入额外的依赖。

分布式锁和分布式限流器在Java领域比较成熟和常用的开源实现是Redisson(中文官方介绍)，下面从它的极小部分源码，分析下分布式锁和分布式限流器的实现逻辑。

Spark Core 解析 4：内存模型

2020-02-29T15:20:38.000Z

Spark内存模型

Spark之所以快，很大程度上是因为它善于利用内存，大量利用内存进行存储和计算，从而减少磁盘IO，提升执行效率。

从1.6版本开始，Spark引入了统一内存管理模型（之前版本只有静态内存管理，这里不细说），找到两张图描述的很清楚：

Spark Core 解析 3：Shuffle

2019-12-29T03:42:44.000Z

Overview

所谓shuffle就是将数据按新的规则进行分区的过程，将数据分区从旧分区转变成新分区。

Spark Core解析 2：Scheduler 调度体系

2019-11-07T14:50:27.000Z

Overview

调度系统，是贯穿整个Spark应用的主心骨，从调度系统开始入手了解Spark Core，比较容易理清头绪。

Spark的资源调度采用的是常见的两层调度，底层资源的管理和分配是第一层调度，交给YARN、Mesos或者Spark的Standalone集群处理，Application从第一层调度拿到资源后，还要进行内部的任务和资源调度，将任务和资源进行匹配，这是第二层调度，本文讲的就是这第二层调度。

Spark的调度体系涉及的任务包括3个粒度，分别是Job、Stage、Task。
Job代表用户提交的一系列操作的总体，一个具体的计算任务，有明确的输入输出，一个Job由多个Stage组成；
一个Stage代表Job计算流程的一个组成部分，一个阶段，包含多个Task；
一个Task代表对一个分区的数据进行计算的具体任务。

层级关系：Job > Stage > Task

Spark Core解析 1：RDD 弹性分布式数据集

2019-10-23T15:25:37.000Z

引言

Spark Core是Spark的核心部分，是Spark SQL，Spark Streaming，Spark MLlib等等其他模块的基础, Spark Core提供了开发分布式应用的脚手架，使得其他模块或应用的开发者不必关心复杂的分布式计算如何实现，只需使用Spark Core提供的分布式数据结构RDD及丰富的算子API，以类似开发单机应用的方式来进行开发。

图中最下面那个就是Spark Core啦，日常使用的RDD相关的API就属于Spark Core，而Dataset、DataFrame则属于Spark SQL。

Scala implicit 隐式转换安全驾驶指南

2019-09-28T14:32:17.000Z

这篇短文将结合实例对隐式转换的各种场景进行解释和总结，希望看完的人能够安全驶过隐式转换这个大坑。

Scala并发编程实战 5：Executor线程池

2019-09-22T14:38:29.000Z

创建线程是一个重量级操作，因为需要调用操作系统内核的API，所以最好不要频繁的创建和销毁线程，为了能够复用创建的线程，常用的办法的就是创建线程池。

Scala并发编程实战 4：Semaphore 信号量模型

2019-08-26T14:28:15.000Z

Semaphore信号量模型，是一种通过维护计数器数值来控制并发数量的模型，Lock实现的互斥锁只允许一个线程访问临界区，而Semaphore允许有限多个线程访问临界区。

什么情况需要允许多个线程同时访问？最常见的需求就是池化资源，连接池、线程池、对象池等等。

Scala并发编程实战 3：Condition 条件变量

2019-08-03T14:00:45.000Z

在Scala并发编程实战：Lock 锁中我们了解到如何通过Lock来实现互斥操作，但是获取锁之后，如果发现条件不满足（如消费一个队列中的数据时，发现队列为空），线程要如何等待条件满足（如队列不为空）并让出锁呢？这需要用到Condition条件变量，又称作条件队列。

Scala并发编程实战 2：Lock 锁

2019-07-21T02:04:21.000Z

synchronized作为内置锁，使用简单，不易出错，然鹅确有相当的局限性，例如，无法从等待获取锁的阻塞中中断，无法设置获取锁的超时。
所以JUC提供了另一种更灵活的加锁方式，即Lock。

Scala并发编程实战 1：Monitor与synchronized

2019-07-14T10:15:48.000Z

Java并发编程最常用和易用的技术莫过于synchronized关键字，而Scala的并发编程之旅也可以从synchronized开始。而synchronized的背后其实是monitor技术。

Maven用户都应该知道的一些事：关于依赖的常见问题

2019-06-20T12:15:59.000Z

依赖范围(scope)不同选项的区别

依赖范围参数的作用是控制依赖在不同阶段与classpath的关系，具体区别如下图所示。

Maven用户都应该知道的一些事：构建生命周期和插件

2019-06-16T09:11:31.000Z

Maven的所有实际操作都是由插件完成的，如果没有插件，Maven什么都不会干。
（即时你没有在POM中配置<plugin>元素，Super POM中也已经帮你引入了若干核心插件）

那么问题来了，项目构建过程中，Maven是怎么知道应该在什么时候调用哪个插件的呢？

插件的调用时机，跟’生命周期’和’插件目标’有很大关系。

Hive窗口函数实战

2019-02-20T14:43:20.000Z

本文将介绍使用Hive强大的窗口函数，解决实际问题的方法，仅供参考。

[读书笔记] 黑客与画家

2019-01-19T03:36:04.000Z

简介

《黑客与画家》是硅谷创业之父Paul Graham的文集，这里的黑客指的是优秀的软件工程师，作者将黑客与画家作比较，认为与黑客最接近的职业是画家，这便是这本书书名的由来了。
Paul Graham在1995年创办了Viaweb，帮助个人用户方便的开设网上商店，1998年以5千万美元的价格卖给Yahoo公司。
2005年他创建了风投公司YC，被称为全世界最牛的创业孵化器，YC帮助了大量的创业公司（到2018年投资了1450家公司），比较成功的案例有：Airbnb，Stripe，Dropbox，Docker，GitLab等等。

这本书中包含了作者对黑客精神，创业，互联网，社会，编程语言的诸多观点，读完让人感觉受益匪浅，甚至会有创业的冲动，哈哈。

以下是对这本书内容的一些摘抄。

Spark 2.x读写MySQL

2018-12-25T15:42:05.000Z

简介

从 spark 2.0 开始，我们可以使用DataFrameReader 和 DataFrameWriter来读写MySQL。