本站消息

站长简介/公众号


站长简介:逗比程序员,理工宅男,前每日优鲜python全栈开发工程师,利用周末时间开发出本站,欢迎关注我的微信公众号:幽默盒子,一个专注于搞笑,分享快乐的公众号

  价值13000svip视频教程,java大神匠心打造,零基础java开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长


+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-05(14)

2021-06(58)

2021-07(10)

flink历史任务保存配置

发布于2021-06-12 14:42     阅读(579)     评论(0)     点赞(7)     收藏(3)


前言

在flink 的web ui 提交运行成功后的任务,一段时间在看发现页面上没有了,提交的jobId 找不到,页面报错。这个需要进行配置HistoryServer。

1.搭建Hadoop

我这里搭建一个单机版为了测试 flink 历史任务的保存。
可以参考这个 https://blog.csdn.net/weixin_43975771/article/details/117689313

2.配置flink 的文件

vi flink-conf.yaml

hdfs://fl:9001/flink/complate-jobs

在这里插入图片描述
然后启动 ./bin/start-cluster.sh
在去启动 flink 的 8082端口。

这个启动方式 有
./bin/historyserver.sh (start | start-foreground |stop)

start-foreground 这种方式启动可以看到启动日志(刚开始用start 这个有错误不会报出来,就很坑。最后官网翻到了另一个启动指令。)
启动不报错,访问 ip:8082 端口提示一直无法访问。
起初搜索不能访问 8082的原因,网上说的防火墙问题,8082被占用的问题,都是试了,都不行。最后换成这样的 ./bin/historyserver.sh start-foreground 启动方式。才看到错误。哎。一步一个坎啊。。

./bin/historyserver.sh start-foreground

启动后报错
在这里插入图片描述

这里我已经加入了 flink的Hadoop依赖 ,因为我装的Hadoop版本是3.2.2
在maven 上下载最新的版本是 flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar 。
无奈只能一顿谷歌,最后在GitHub找到答案。 目前flink最新稳定版本 1.13.1
支持的最新版本的Hadoop 是 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar。
把那个新的版本删除,替换成官网最新的Hadoop就可以了。
看下最终效果:
在这里插入图片描述

原文链接:https://blog.csdn.net/weixin_43975771/article/details/117733561



所属网站分类: 技术文章 > 博客

作者:快起来搬砖啦

链接:http://www.javaheidong.com/blog/article/222275/d4e7048d7c30843c0887/

来源:java黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

7 0
收藏该文
已收藏

评论内容:(最多支持255个字符)