Flink 部署笔记:
- Ubuntu 环境下部署 Flink 集群环境
- Docker 部署 Flink 集群环境
- kubernetes(K8S) 部署 Flink 集群环境
下面的1、2两个方法选其一即可。
1 使用docker命令进行构建
- 创建网络
docker network create flink-network
- 配置属性
在命令行界面直接输入。
FLINK_PROPERTIES="jobmanager.rpc.address: jobmanager"
- 启动jobmanager容器
docker run \ --rm \ --name=jobmanager \ --network flink-network \ --publish 8081:8081 \ --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \ flink:1.14.2-scala_2.12 jobmanager
- 启动taskmanager容器
可启动一个或多个。
docker run \ --rm \ --name=taskmanager \ --network flink-network \ --env FLINK_PROPERTIES="${FLINK_PROPERTIES}" \ flink:1.14.2-scala_2.12 taskmanager
2 使用docker-compose进行构建(推荐)
- 准备工作
创建flink-docker文件夹,用于保存后续工作所需文件。
(可跳过)使用1.1方法启动之后,使用下面命令复制出conf文件,后续可挂载。
docker cp jobmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/jobmanager docker cp taskmanager:/opt/flink/conf /home/user/flink-docker/flink-conf/taskmanager
修改flink-conf.yaml文件。附录给出了示例。 - 安装docker-compose
- 安装pip
apt install python3-pip
- 安装docker-compose
pip install docker-compose
- 验证安装
docker-compose -version
- 创建docker-compose.yml
在一个文件夹中,创建docker-compose.yml,写入以下内容。(如果做了第一步,则取消下面的注释。注意volumes中的目录路径。)
version: "2.2" services: jobmanager: image: flink:1.14.2-scala_2.12 ports: - "8081:8081" command: jobmanager # volumes: - /home/user/flink-docker/jobmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml environment: - | FLINK_PROPERTIES= jobmanager.rpc.address: jobmanager taskmanager: image: flink:1.14.2-scala_2.12 depends_on: - jobmanager command: taskmanager scale: 3 # volumes: - /home/user/flink-docker/taskmanager/flink-conf.yaml:/opt/flink/conf/flink-conf.yaml environment: - | FLINK_PROPERTIES= jobmanager.rpc.address: jobmanager taskmanager.numberOfTaskSlots: 3
- 启动
- 安装pip
docker-compose up -d
- 终止
docker-compose down
3 提交作业
访问宿主机的8081端口即可访问 web 页面,在 web 页面提交代码即可。
- 创建网络
猜你喜欢
- 14天前(a级景区评定机构)全国A级旅游景区创建与提升培训班在敦煌市举办
- 14天前(瑞士大酒店-自助餐怎么样)瑞意心旅,以食为先 瑞士酒店开启全新"瑞士早餐计划"
- 14天前(夏日旅行海报)夏日旅行|精简行囊 向快乐进发
- 14天前(东北地区全域旅游)东北三省一区宣传贯彻研学旅游行业标准
- 14天前(甘肃文旅项目)甘肃省文旅产业链招商引资推介会在天水成功举办
- 14天前(新西兰“空降”上海:新西兰旅游局邀请你来“玩真的”!)新西兰“空降”上海:新西兰旅游局邀请你来“玩真的”!
- 14天前(曼谷丽思卡尔顿公寓价格)在曼谷丽思卡尔顿酒店CALEŌ 邂逅鸡尾酒的浪漫艺术
- 14天前(马尔代夫华尔道夫酒店多少钱)Chef Zhao就任马尔代夫伊挞富士岛华尔道夫酒店Li Long中餐厅新主厨
- 14天前(大连aaaaa景区)辽宁大连A级旅游景区应急救护水平整体跃升
- 14天前(筑格集团有限公司)洲际酒店集团旗下筑格酒店品牌正式亮相大中华区
网友评论
- 搜索
- 最新文章
- (2020广州车展哈弗)你的猛龙 独一无二 哈弗猛龙广州车展闪耀登场
- (哈弗新能源suv2019款)智能科技颠覆出行体验 哈弗重塑新能源越野SUV价值认知
- (2021款全新哈弗h5自动四驱报价)新哈弗H5再赴保障之旅,无惧冰雪护航哈弗全民电四驱挑战赛
- (海南航空现况怎样)用一场直播找到市场扩张新渠道,海南航空做对了什么?
- (visa jcb 日本)优惠面面俱到 JCB信用卡邀您畅玩日本冰雪季
- (第三届“堡里有年味·回村过大年”民俗花灯会活动)第三届“堡里有年味·回村过大年”民俗花灯会活动
- (展示非遗魅力 长安启源助力铜梁龙舞出征)展示非遗魅力 长安启源助力铜梁龙舞出征
- (阿斯塔纳航空公司)阿斯塔纳航空机队飞机数量增至50架
- (北京香港航班动态查询)香港快运航空北京大兴新航线今日首航
- (我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉)我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉
- 热门文章