Skip to content

yangshuting1/python

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

python

初学python,关于python 练手例子

同步商户中心数据程序(对接azkabban任务调度系统) 项目

一、项目简介

1. 同步商户数据中心数据程序

内部线的所有定时异步任务

2. Azkabban任务调度系统

定时任务调度中心, 用于执行和管理定时任务

账号请咨询@杨淑婷

二、项目操作手册

1. 项目结构

|db-shop-data-sync
├── src
│ │ ├── main.java.com.hualala
│ │ │ ├── azkaban //存放定时任务主函数
│ │ │ ├── mis  
│ │ │ │ ├── job //定时任务包
│ │ │ │ ├── common //工具包
│ │ │ │ │ ├── AutoGenerateSyncMainClass.java //用于生成所有的定时任务的主函数
├── dependent_job.sh   //打包所有有依赖的定时任务
├── dependent_job_build.sh  //辅助脚本
├── independent_job.sh  //打包所有无依赖的定时任务
├── independent_job_build.sh  //辅助脚本
├── azkabanjob //存放无依赖的定时任务压缩包
├── dependentjob //存放所有有依赖的定时任务压缩包

2. 创建新的定时任务

  1. 录入定时任务准入需求信息文档 todo
  2. 审批通过,着手编写代码
  3. 提交定时任务上线信息文档 todo
  4. 代码上线
  5. 定时任务部署至Azkaban @杨淑婷

3. 本地打包定时任务(定时任务已存在)

case 无依赖的:
   执行:independent_job.sh //生成的类存放在azkabanjob包下
case 有依赖的:
   执行:dependent_job.sh  //生成的类存放在dependentjob包下
  
所有的都是在项目目录下执行和查看

4. 本地打包定时任务(新添加的定时任务)

1. 运行AutoGenerateSyncMainClass

2. 修改independent_job.job

job_array=(
"syncjob.ExecuteSyncShopCspID"   //添加定时任务,格式(生成的主函数包名.类名)
)

declare -A emailMap=(
["syncjob.SyncGroupInfoForLeave"]="[email protected]" // 添加定时任务负责人邮箱 [主函数包名.类名]=邮件名

3. 执行脚本文件

./independent_job_build.sh -m main.class

说明:
main.class 属于必填项(默认项没有意义)

例子:
./independent_job_build.sh -m main.class main.class 属于必填项(默认项没有意义)

4. 上传至azkaban

三、Azkaban操作文档

1. how to use azkaban

官方文档

四、注意事项

  1. 定时任务命名要规范,不可重名(不同包下的也不允许)。
  2. Azkaban新建定时任务时,项目名格式:packageName_schedultName(全部小写)

About

初学python,关于python 练手例子

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages