Dolphinscheduler针对YARN任务，比如说MR、Spark、Flink，甚至是Shell任务，最初都是会判断如果有YARN任务，解析到applicationId。这样就会不单单以判断客户端进程为单一判断依据，还要根据YARN状态进行最终的Dolphinscheduler任务状态判断。后期，社区对此进行了重构(确实是好的向往，现在已经是半成品)，但是导致了一些问题，比如说针对Flink Stream Application模式，这种客户端分离模式会让客户端Shell直接退出，所以现在Dolphinscheduler里面的任务就直接成功了。YARN上的任务还在运行呢，但Dolphinscheduler已经不能追踪到YARN上任务的状态了。
那么，想要实现对于YARN上任务的状态跟踪，可以怎么做呢？
注：以3.2.1版本为例。
首先，让我们来看下DolphinScheduler中Worker Task的关系原理。
- AbstractTask: 主要定义了Task的基本生命周期接口，比如说init、handle和cancel
- AbstractRemoteTask: 主要对handle方法做了实现，体现了模版方法设计模式，提取了、以及三个核心接口方法
- AbstractYarnTask: 比如说YARN任务，就抽象了，其中、以及可以直接是对YARN API的访问
AbstractYarnTask可以实现YARN状态跟踪，参考，完整代码如下 :
可以看到，这里的核心逻辑其实就是去掉之前直接把handle接口重写了，而现在针对YARN任务，只需要实现、两个核心接口，这个其实原则上应该代理才好(当前没有整合，不过不影响)。
页面效果如下 :
注意 : URL粘贴是需要自己写的，上面的代码不包含
这里其实是有问题，对于state状态来说，是有FINISHED、FAILED、KILLED三种状态，但是FINISHED状态里面还是有FinalStatus，完成不一定是成功，FINISHED下面其实也有SUCCEEDED、FAILED和KILLED。其实就是FINISHED不能作为DolphinScheduler的终态，需要继续判断而已。
注意 ： 一定要指定，否则不一定能kill掉。
原文链接：https://segmentfault.com/a/58893
到此这篇如何查看yarn日志（查看yarn日志命令）的文章就介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章，希望大家都能在编程的领域有一番成就！本文由 白鲸开源科技 提供发布支持！
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/rfx/20067.html