在 Flink on YARN 中,你可以通过以下参数来控制历史日志的保留和清理行为:
yarn.log-aggregation-enable:指定是否启用日志聚合功能,默认值为 true。如果设置为 false,则 Flink 不会将日志发送到 HDFS 中的聚合目录。
yarn.log-aggregation.retain-seconds:指定历史日志的保留时间(以秒为单位),默认值为 3,600 秒(1 小时)。如果设置为 0,则表示不保留历史日志。在指定时间内,Flink 会将任务运行日志保存在 HDFS 中的聚合目录中。
yarn.log-aggregation.retain-check-interval-seconds:指定检查历史日志保留时间间隔(以秒为单位),默认值为 300 秒(5 分钟)。Flink 会每隔一定时间检查一次历史日志的保留时间,并删除已过期的日志文件。
你可以在 flink-conf.yaml 文件中设置这些参数,例如:
yarn.log-aggregation-enable: true yarn.log-aggregation.retain-seconds: 3600 在此配置中,Flink on YARN 将启用日志聚合功能,并将任务运行日志保留 1 小时。每隔 5 分钟检查一次历史日志的保留时间,并删除已过期的日志文件。
注意,这些参数只控制历史日志的保留和清理行为。如果你想要减少 Flink 程序的运行日志量,可以通过修改 log4j.properties 文件中的日志级别来调整日志输出水平。
到此这篇yarn命令查看任务提交时间(yarn命令查看作业日志)的文章就 介绍到这了,更多相关内容请继续浏览下面的相关 推荐文章,希望大家都能在编程的领域有一番成就!版权声明:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符,请将相关资料发送至xkadmin@xkablog.com进行投诉反馈,一经查实,立即处理!
转载请注明出处,原文链接:https://www.xkablog.com/rfx/19315.html