确认网络是否能正常访问。如果不能访问,联系陈飞开通网络
1. 参考迁移或者底层hostname找到dataxui部署节点
http://10.0.16.6/BigData/streamkar-jobs/tree/master/datax_projecthttp://10.0.16.6/BigData/streamkar-jobs/tree/master/datax_project
发布azkaban-datax_project项目
1. flink提交节点 /opt/flink-process/flink-cdc-run
2. 需要dba提供 publication.name
日志
CREATE TABLE kudu_tb.kimi_tshow_hist_sms_data (
1. kafka-kudu模式,可以复制一个相似管道
存
由于kudu会定期滚动删除历史数据, 部分结余变更数据和日志数据需要配置脚本(一般每个产品都创建load_hive的azkaban项目)入hive存储
新产品使用脚本az_job_start.py调度shell运行,需要对新库维护列表