flink历史任务保存配置
发布于2021-06-12 14:42 阅读(701) 评论(0) 点赞(7) 收藏(3)
前言
在flink 的web ui 提交运行成功后的任务，一段时间在看发现页面上没有了，提交的jobId 找不到，页面报错。这个需要进行配置HistoryServer。
1.搭建Hadoop
我这里搭建一个单机版为了测试 flink 历史任务的保存。
可以参考这个 https://blog.csdn.net/weixin_43975771/article/details/117689313
2.配置flink 的文件
vi flink-conf.yaml
hdfs://fl:9001/flink/complate-jobs
然后启动 ./bin/start-cluster.sh
在去启动 flink 的 8082端口。
这个启动方式 有
./bin/historyserver.sh （start | start-foreground |stop）
start-foreground 这种方式启动可以看到启动日志（刚开始用start 这个有错误不会报出来，就很坑。最后官网翻到了另一个启动指令。）
启动不报错，访问 ip:8082 端口提示一直无法访问。
起初搜索不能访问 8082的原因，网上说的防火墙问题，8082被占用的问题，都是试了，都不行。最后换成这样的 ./bin/historyserver.sh start-foreground 启动方式。才看到错误。哎。一步一个坎啊。。
./bin/historyserver.sh start-foreground
启动后报错
这里我已经加入了 flink的Hadoop依赖 ，因为我装的Hadoop版本是3.2.2
在maven 上下载最新的版本是 flink-shaded-hadoop-3-3.1.1.7.2.9.0-173-9.0.jar 。
无奈只能一顿谷歌，最后在GitHub找到答案。 目前flink最新稳定版本 1.13.1
支持的最新版本的Hadoop 是 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar。
把那个新的版本删除，替换成官网最新的Hadoop就可以了。
看下最终效果：
原文链接:https://blog.csdn.net/weixin_43975771/article/details/117733561
所属网站分类: 技术文章 > 博客
作者：快起来搬砖啦
链接：http://www.javaheidong.com/blog/article/222275/d4e7048d7c30843c0887/
来源：java黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力