CompletableFuture 详解与实战
实际项目中,一个接口可能需要同时获取多种不同的数据,然后再汇总返回,这种场景还是挺常见的。举个例子:在商城系统中,首页内容的接口聚合了秒杀商品列表、热卖商品列表、新品商品列表、品牌列表、首页轮播图列表。
串行(按顺序依次执行每个任务)执行的时候,接口的响应速度非常慢,压测时QPS 只有个位数,并且大部份请求都报超时错误。考虑到这些任务之间有大部分都是无前后顺序关联的,可以并行执行。
通过并行执行多个任务的方式优化该接口,接口的响应时间下降到了2秒以内,QPS 可以达到100+。
可能会用到多线程异步任务编排的场景(这里只是举例,数据不一定是一次返回,可能会对接口进行拆分):
这篇文章是 CompletableFuture 的简单入门,带大家看看 CompletableFuture 常用的 API。
Future 介绍
Future 接口是异步思想的典型运用,主要用在一些需要执行耗时任务的场景,避免程序一直原地等待耗时任务执行完成,执行效率太低。具体来说是这样的:当我们执行某一耗时的任务时,可以将这个耗时任务交给一个子线程去异步执行,同时我们可以干点其他事情,不用傻傻等待耗时任务执行完成。等我们的事情干完后,我们再通过 Future 获取到耗时任务的执行结果。这样一来,程序的执行效率就明显提高了。
这其实就是多线程中经典的 Future 模式,你可以将其看作是一种设计模式,核心思想是异步调用,主要用在多线程领域,并非 Java 语言独有。
在 Java 中,Future 是一个泛型接口,位于 java.util.concurrent 包下。它有 5 个经典抽象方法,主要包括下面 4 类功能;JDK 19 起又增加了 resultNow()、exceptionNow() 和 state() 三个默认查询方法。
取消任务;
判断任务是否被取消;
判断任务是否已经执行完成;
获取任务执行结果。
1 | // V 代表了Future执行的任务返回值的类型 |
简单理解就是:我有一个任务,提交给了 Future 来处理。任务执行期间我自己可以去做任何想做的事情。并且,在这期间我还可以取消任务以及获取任务的执行状态。一段时间之后,我就可以 Future 那里直接取出任务执行结果。
CompletableFuture 介绍
Future 在实际使用过程中存在一些局限性,比如不支持异步任务的编排组合、获取计算结果的 get() 方法为阻塞调用。
Java 8 才被引入 CompletableFuture 类可以解决 Future 的这些缺陷。CompletableFuture 除了提供了更为好用和强大的 Future 特性之外,还提供了函数式编程、异步任务编排组合(可以将多个异步任务串联起来,组成一个完整的链式调用)等能力。
下面我们来简单看看 CompletableFuture 类的定义。
1 | public class CompletableFuture<T> implements Future<T>, CompletionStage<T> { |
可以看到,CompletableFuture 同时实现了 Future 和 CompletionStage 接口。
CompletableFuture 除了提供了更为好用和强大的 Future 特性之外,还提供了函数式编程的能力。
Future 接口有 5 个方法:
boolean cancel(boolean mayInterruptIfRunning):尝试取消执行任务。
boolean isCancelled():判断任务是否被取消。
boolean isDone():判断任务是否已经被执行完成。
get():等待任务执行完成并获取运算结果。
get(long timeout, TimeUnit unit):多了一个超时时间。
CompletionStage 接口描述了一个异步计算的阶段。很多计算可以分成多个阶段或步骤,此时可以通过它将所有步骤组合起来,形成异步计算的流水线。
CompletionStage 接口中的方法比较多,CompletableFuture 的函数式能力就是这个接口赋予的。从这个接口的方法参数你就可以发现其大量使用了 Java8 引入的函数式编程。
由于方法众多,所以这里不能一一讲解,下文中我会介绍大部分常见方法的使用。
CompletableFuture 常见操作
创建 CompletableFuture
常见的创建 CompletableFuture 对象的方法如下:
通过 new 关键字。
基于 CompletableFuture 自带的静态工厂方法:runAsync()、supplyAsync()。
new 关键字
通过 new 关键字创建 CompletableFuture 对象这种使用方式可以看作是将 CompletableFuture 当做 Future 来使用。
下面咱们来看一个简单的案例。
我们通过创建了一个结果值类型为 List
1 | CompletableFuture<List<Object>> resultFuture = new CompletableFuture<>(); |
假设在未来的某个时刻,我们得到了最终的结果。这时,我们可以调用 complete() 方法为其传入结果,这表示 resultFuture 已经被完成了。
1 | // complete() 方法只能调用一次,后续调用将被忽略。 |
你可以通过 isDone() 方法来检查是否已经完成。
1 | public boolean isDone() { |
获取异步计算的结果也非常简单,直接调用 get() 方法即可。调用 get() 方法的线程会阻塞直到 CompletableFuture 完成运算。
1 | resp = completableFuture.get(); |
如果你已经知道计算的结果的话,可以使用静态方法 completedFuture() 来创建 CompletableFuture。
1 | CompletableFuture<String> future = CompletableFuture.completedFuture("hello!"); |
completedFuture() 方法底层调用的是带参数的 new 方法,只不过,这个方法不对外暴露。
1 | public static <U> CompletableFuture<U> completedFuture(U value) { |
静态工厂方法
这两个方法可以帮助我们封装计算逻辑。
1 | static <U> CompletableFuture<U> supplyAsync(Supplier<U> supplier); |
runAsync() 方法接受的参数是 Runnable,这是一个函数式接口,不允许返回值。当你需要异步操作且不关心返回结果的时候可以使用 runAsync() 方法。
1 |
|
supplyAsync() 方法接受的参数是 Supplier,这也是一个函数式接口,U 是返回结果值的类型。
1 |
|
当你需要异步操作且关心返回结果的时候,可以使用 supplyAsync() 方法。
1 | CompletableFuture<Void> future = CompletableFuture.runAsync(() -> System.out.println("hello!")); |
处理异步结算的结果
当我们获取到异步计算的结果之后,还可以对其进行进一步的处理,比较常用的方法有下面几个:
thenApply()
thenAccept()
thenRun()
whenComplete()
thenApply() 方法接受一个 Function 实例,用它来处理结果。
1 | // 非异步回调:可能由完成上一个阶段的线程执行;如果阶段已经完成,也可能由当前调用线程执行 |
thenApply() 方法使用示例如下:
1 | CompletableFuture<String> future = CompletableFuture.completedFuture("hello!") |
还可以进行流式调用:
1 | CompletableFuture<String> future = CompletableFuture.completedFuture("hello!") |
如果你不需要从回调函数中获取返回结果,可以使用 thenAccept() 或者 thenRun()。这两个方法的区别在于 thenRun() 不能访问异步计算的结果。
thenAccept() 方法的参数是 Consumer<? super T>。
1 | public CompletableFuture<Void> thenAccept(Consumer<? super T> action) { |
顾名思义,Consumer 属于消费型接口,它可以接收 1 个输入对象然后进行“消费”。
1 |
|
thenRun() 的方法是的参数是 Runnable。
1 | public CompletableFuture<Void> thenRun(Runnable action) { |
thenAccept() 和 thenRun() 使用示例如下:
1 | CompletableFuture.completedFuture("hello!") |
whenComplete() 的方法的参数是 BiConsumer<? super T, ? super Throwable>。
1 | public CompletableFuture<T> whenComplete( |
相对于 Consumer, BiConsumer 可以接收 2 个输入对象然后进行“消费”。
1 |
|
whenComplete() 使用示例如下:
1 | CompletableFuture<String> future = CompletableFuture.supplyAsync(() -> "hello!") |
异常处理
你可以通过 handle() 方法来处理任务执行过程中可能出现的抛出异常的情况。
1 | public <U> CompletableFuture<U> handle( |
示例代码如下:
1 | CompletableFuture<String> future |
你还可以通过 exceptionally() 方法来处理异常情况。
1 | CompletableFuture<String> future |
如果你想让 CompletableFuture 的结果就是异常的话,可以使用 completeExceptionally() 方法为其赋值。
1 | CompletableFuture<String> completableFuture = new CompletableFuture<>(); |
组合 CompletableFuture
你可以使用 thenCompose() 按顺序链接两个 CompletableFuture 对象,实现异步的任务链。它的作用是将前一个任务的返回结果作为下一个任务的输入参数,从而形成一个依赖关系。
1 | public <U> CompletableFuture<U> thenCompose( |
thenCompose() 方法会使用示例如下:
1 | CompletableFuture<String> future |
在实际开发中,这个方法还是非常有用的。比如说,task1 和 task2 都是异步执行的,但 task1 必须执行完成后才能开始执行 task2(task2 依赖 task1 的执行结果)。
和 thenCompose() 方法类似的还有 thenCombine() 方法, 它同样可以组合两个 CompletableFuture 对象。
1 | CompletableFuture<String> completableFuture |
那 thenCompose() 和 thenCombine() 有什么区别呢?
- thenCompose() 可以链接两个 CompletableFuture 对象,并将前一个任务的返回结果作为下一个任务的参数,它们之间存在着先后顺序。
- thenCombine() 会在两个阶段都正常完成后,把它们的结果合并。这两个阶段可以彼此独立,但是否并行执行取决于它们的创建方式和所用执行器,thenCombine() 本身不负责启动任务。
除了 thenCompose() 和 thenCombine() 之外,还有一些其他的组合 CompletableFuture 的方法用于实现不同的效果,满足不同的业务需求。
例如,在 task1 和 task2 都正常完成的场景中,可以使用 acceptEither(),让 task3 接收其中一个先完成任务的结果。需要注意,它不能作为可靠的“第一个成功结果”选择器:只要其中一个阶段异常完成,返回阶段的结果就要遵循 CompletionStage 对 either 组合的异常规则。
1 | public CompletableFuture<Void> acceptEither( |
简单举一个例子:
1 | CompletableFuture<String> task = CompletableFuture.supplyAsync(() -> { |
输出:
1 |
当两个阶段都正常完成时,acceptEitherAsync() 会使用其中一个已完成阶段的结果异步执行任务 3,通常是先完成者的结果。不过,如果其中一个阶段异常完成,而另一个尚未完成或正常完成,规范并不保证返回阶段最终一定正常完成还是异常完成。因此,不能依赖该方法忽略先发生的异常并继续等待另一个成功结果。
等待多个 CompletableFuture 完成
你可以通过 CompletableFuture 的 allOf() 静态方法等待多个 CompletableFuture 全部完成。allOf() 只组合已有阶段的完成状态,不负责启动这些任务;任务是否并行取决于它们的创建方式和执行器。
实际项目中,我们经常需要并行运行多个互不相关的任务,这些任务之间没有依赖关系,可以互相独立地运行。
比说我们要读取处理 6 个文件,这 6 个任务都是没有执行顺序依赖的任务,但是我们需要返回给用户的时候将这几个文件的处理的结果进行统计整理。像这种情况我们就可以使用并行运行多个 CompletableFuture 来处理。
示例代码如下:
1 | CompletableFuture<Void> task1 = |
经常和 allOf() 方法拿来对比的是 anyOf() 方法。
allOf() 方法会等到所有的 CompletableFuture 都运行完成之后再返回
1 | Random rand = new Random(); |
调用 join() 可以让程序等 future1 和 future2 都运行完了之后再继续执行。
1 | CompletableFuture<Void> completableFuture = CompletableFuture.allOf(future1, future2); |
输出:
1 | future1 done... |
anyOf() 方法不会等待所有的 CompletableFuture 都运行完成之后再返回,只要有一个执行完成即可!
1 | CompletableFuture<Object> f = CompletableFuture.anyOf(future1, future2); |
输出结果可能是:
1 | future2 done... |
也可能是:
1 | future1 done... |
CompletableFuture 使用建议
使用自定义线程池
我们上面的代码示例中,为了方便,都没有选择自定义线程池。实际项目中,这是不可取的。
在 CompletableFuture 的默认实现中,没有显式传入 Executor 的异步方法通常使用全局共享的 ForkJoinPool.commonPool();子类可以通过重写 defaultExecutor() 改变非静态异步方法的默认执行器。这意味着应用程序、多个库或框架若都使用默认实现,相关异步任务通常会共享同一个线程池。
虽然 ForkJoinPool 效率很高,但当同时提交大量任务时,可能会导致资源竞争和线程饥饿,进而影响系统性能。
为避免这些问题,建议为 CompletableFuture 提供自定义线程池,带来以下优势:
- 隔离性:为不同任务分配独立的线程池,避免全局线程池资源争夺。
- 资源控制:根据任务特性调整线程池大小和队列类型,优化性能表现。
- 异常处理:通过自定义 ThreadFactory 更好地处理线程中的异常情况。
1 | private ThreadPoolExecutor executor = new ThreadPoolExecutor(10, 10, |
尽量避免使用 get()
CompletableFuture 的 get() 方法是阻塞的,尽量避免使用。如果必须要使用的话,需要添加超时时间,否则可能会导致主线程一直等待,无法执行其他任务。
1 | CompletableFuture<String> future = CompletableFuture.supplyAsync(() -> { |
上面这段代码在调用 get() 时抛出了 TimeoutException 异常。这样我们就可以在异常处理中进行相应的操作,比如取消任务、重试任务、记录日志等。
正确进行异常处理
使用 CompletableFuture 的时候一定要以正确的方式进行异常处理,避免异常丢失或者出现不可控问题。
下面是一些建议:
- whenComplete 会在阶段正常或异常完成时执行回调,适合观察结果和记录异常;它默认保留原阶段的结果或异常,不用于把异常转换为正常结果。
- exceptionally 只在阶段异常完成时执行,并用回调的返回值恢复为正常结果;如果需要继续传播异常,可以在回调中显式抛出异常。
- handle 无论阶段正常还是异常完成都会执行,并根据结果和异常生成一个新的结果。
- CompletableFuture.allOf 可以等待多个阶段全部完成;只要其中一个阶段异常完成,返回的 CompletableFuture 也会异常完成,但仍需分别检查各阶段才能获得每个任务的结果或异常。
合理组合多个异步任务
正确使用 thenCompose()、 thenCombine()、acceptEither()、allOf()、anyOf() 等方法来组合多个异步任务,以满足实际业务的需求,提高程序执行效率。
CompletableFuture 详解与实战
https://huangpei1993.github.io/java-ji-chu/completablefuture-xiang-jie-yu-shi-zhan/