虚拟化容器,Oracle,中间件,监控。

Azkaban 看这一篇就够了!任务调度平台的搭建,使用,以及API开发

27 04月
作者:admin|分类:大数据分析

Azkaban 看这一篇就够了!任务调度平台的搭建,使用,以及API开发




当你的才华还撑不起你的野心时,那你就应该静下心来学习。每次脑子都会有很多想法,每次做了之后,还是觉得需要沉淀下来提升自己更加重要。著名的红叶子理论:一个人职业的成功不在于红叶子的数目多少,而在于他是否具备一片特别硕大的红叶子,这片特别硕大的红叶子不是与生俱来,需要个人的不断努力,准确地识别到最适合发展的红叶子。




目录大纲


0 写在前面的话


1.1 初识Azkaban


1.2 为什么需要任务调度器


1.3 常见几种任务调度器


1.4 Azkaban和Hadoop的关系


1.5 Azkaban 底层原理


2 Azkaban任务调度平台搭建


3 Azkaban Web可视化平台详细介绍以及使用


4 Azkaban API 功能预览


4.1 对接Azkaban,进行二次开发,使其嵌入到系统中


5 平台搭建中的问题总结


1.1 初识Azkaban


起源:Linkedin开源的一个批量工作流调度器


特征:一个工作流内,多个作业可以按照特定的顺序执行


依赖关系:作业之间的顺序关系依靠key-value的形式来建立依赖关系


可视界面:提供可视化web界面


1.2 为什么需要任务调度器


定时任务的出现,可谓大大提高了工作效率。最简单的定时任务,就是你手机的闹钟,你给它一个定时任务,到了指定时间它就叫醒你。程序当中也是如此,那些反复繁琐的操作,可以交给任务调度器去执行,这样既能避免人为的失误,也能让工作人员从无意义的工作中解脱出来!


什么是工作流任务调度器?


很多时候,单一的任务并没有办法满足我们的业务需求,任务直接有关联性,这时候工作流就诞生了!


1.3 常见几种任务调度器


常见的几种工作流任务调度器介绍


Hamake:


  • 描述语言:xml

  • 依赖机制:data-driven

  • 不需要web容器

  • 支持hadoop 作业调度

  • 运行模式:command line utility

  • 事件通知:不支持

  • 无需安装


Oozie


  • 描述语言:xml

  • 依赖机制:explicit

  • 需要web容器

  • 不支持hadoop作业调度

  • 运行模式:daemon

  • 事件通知:不支持

  • 需要安装


Azkaban


  • 描述语言:text file with key/value pairs

  • 依赖机制:explicit

  • 需要web容器

  • 支持Hadoop 作业调度

  • 运行模式daemon

  • 事件通知:不支持

  • 需要安装


Cascading


  • 工作流描述语言:Java Api

  • 依赖机制:explicit

  • 不需要web容器

  • 支持hadoop 作业调度

  • 运行模式 API

  • 事件通知:有

  • 无需安装


市面上最流行的工作流任务调度器大致有以下这两种:


  • ooize

  • azkaban


下面就这两种,进行详细的阐述


ooize 偏重量级,功能全面,但是配置却更加复杂


azkaban 偏轻量级,功能稍微缺少一些, 但是配置简单


功能方面:


  • 均可调度mapreduce,pig,java,脚本工作流任务

  • 均可定时执行工作流任务


工作流传参


Azkaban支持直接传参,例如inputOozie支持参数和EL表达式


定时执行


  • Azkaban的定时执行任务是基于时间的

  • Oozie的定时执行任务基于时间和输入数据


资源控制


  • Azkaban有较严格的权限控制,如用户对工作流进行读/写/执行等操作

  • Oozie暂无严格的权限控制


1.4 Azkaban 和 Hadoop的关系


Azkaban 几乎是Hadoop的御用工作流任务调度器


1.5 Azkaban 底层原理简述


架构图:



图片来源于网络。


从上图可见,Azkaban集群部署模式,主要有3个核心的组件:


Azkaban WebServer


Azkaban WebServer,是整个调度集群的核心,负责所有作业的管理和调度。


Azkaban ExecutorServer


Azkaban ExecutorServer,整个调度集群中实际运行作业的节点


DB


DB,是集群中所有节点运行共用的数据存储,包含作业信息、各种调度元数据等。


更加详细的了解,可以去谷哥或者度娘,本篇不做太深入的阐述


2 Azkaban任务调度平台搭建


注意:系统环境为linux系统


1. 下载安装


  • 下载地址:http://azkaban.github.io/downloads.html


Azkaban Web 服务器:azkaban-web-server-2.5.1.tar.gz

Azkaban Excutor 执行服务器:azkaban-executor-server-2.5.1.tar.gz

Azkaban 脚本文件:azkaban-sql-script-2.5.1.tar.gz


2.安装说明


将以上三个压缩包下载下来,上传到需要安装azkaban的服务器上


3.安装步骤


1. 创建目录


切换到常用的/usr/local 目录下


[root@hadoop-demo ~]$ cd /usr/local

[root@hadoop-demo local]$ mkdir azkaban


2. 上传下载好的压缩包,解压到指定目录


解压命令:tar -zxvf 压缩包 -C 解压到那个目录


[root@hadoop-demo ~]$ tar -zxvf azkaban-web-server-2.5.1.tar.gz -C /usr/local/azkaban/

[root@hadoop-demo ~]$ tar -zxvf azkaban-executor-server-2.5.1.tar.gz -C /usr/local/azkaban/


3.解压脚本


解压azkaban的sql脚本


[root@hadoop-demo ~]$ tar -zxvf azkaban-sql-script-2.5.1.tar.gz

[root@hadoop-demo ~]$ cd azkaban-2.5.1/


4. 将create-all-sql-2.5.1.sql导入到MySQL数据库中


  • 创建一个名为azkaban的数据库

  • 选择表 --> 运行SQL文件 --> 选择sql

  • 导入后,刷新表就可以看到



5. 创建SSL配置


  • 执行命令


keytool -keystore keystore -alias jetty -genkey -keyalg RSA


会在当前目录生成一个keystore证书文件,需要填写一些信息,比如你的姓名,工作单位等。按照提示填写即可。


直接一路回车也是可以的,直接回车就是默认


[root@hadoop-demo azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA

输入密钥库口令:

再次输入新口令:

您的名字与姓氏是什么?

[Unknown]:

您的组织单位名称是什么?

[Unknown]:

您的组织名称是什么?

[Unknown]:

您所在的城市或区域名称是什么?

[Unknown]:

您所在的省/市/自治区名称是什么?

[Unknown]:

该单位的双字母国家/地区代码是什么?

[Unknown]: CN

CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN是否正确?

[否]: 是

输入 <jetty> 的密钥口令

(如果和密钥库口令相同, 按回车):

[root@hadoop-demo azkaban]$


  • 然后把 keystore 考贝到 azkaban web服务器bin目录中使用mv命令或者copy


6.修改时区


[root@hadoop-demo azkaban]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime


7.修改azkaban web 服务器配置


进入 azkaban web 服务器安装目录 conf 目录


[root@hadoop-demo ~]$ cd /usr/local/azkaban/azkaban-web-2.5.1/conf/


修改 azkaban.properties 文件


[root@hadoop-demo conf]$ vim azkaban.properties


配置文件详解:


#Azkaban Personalization Settings

azkaban.name=MyTestAzkaban #服务器 UI 名称

azkaban.label=My Local Azkaban #描述标签

azkaban.color=#FF3601 #‘Web UI的 颜色

azkaban.default.servlet.path=/index

web.resource.dir=/usr/local/azkaban/azkaban-web-2.5.1/web/ #默认根 web 目录


default.timezone.id=Asia/Shanghai #默认时区,已修改为亚洲/上海

... 篇幅有限,此处省略其他


修改 azkaban-users.xml配置文件


用户配置 进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml vim azkaban-users.xml 管理管理员用户


<azkaban-users>

<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />

<role name="admin" permissions="ADMIN" />

<role name="metrics" permissions="METRICS"/>

</azkaban-users>


修改azkaban executor服务器配置


进入 azkaban executor 服务器安装目录 conf 目录


[root@hadoop-demo ~]$ cd /usr/local/azkaban


cd azkaban-executor-2.5.1/conf/



修改azkaban.properties文件


[root@hadoop-demo conf]$ vim azkaban.properties


#Azkaban

default.timezone.id=Asia/Shanghai #时区

# Azkaban JobTypes 插件配置,插件所在位置

azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/plugins/jobtypes

#Loader for projects

executor.global.properties=/home/hadoop/apps/azkaban-2.5.0/azkaban-executor-2.5.0/conf/global.properties

azkaban.project.dir=projects

#数据库设置

database.type=mysql #数据库类型(目前只支持 mysql)

mysql.port=3306 #数据库端口号

mysql.host=hadoop03 #数据库 IP 地址

mysql.database=azkaban #数据库实例名

mysql.user=root #数据库用户名

mysql.password=root #数据库密码

mysql.numconnections=100 #最大连接数

# 执行服务器配置

executor.maxThreads=50 #最大线程数

executor.port=12321 #端口号(如修改,请与 web 服务中一致)

executor.flow.threads=30 #线程数


配置环境变量


[root@hadoopdemo ~]$ vi .bashrc

#Azkban

export AZKABAN_WEB_HOME=/usr/local/azkaban/azkaban-web-2.5.1

export AZKABAN_EXE_HOME=/usr/local/azkaban/azkaban-executor-2.5.0

export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin

// 保存之后使其立即生效

[root@hadoop3 ~]$ source .bashrc


运行启动


启动web服务器


[root@hadoop3-demo ~]$ azkaban-web-start.sh


后台启动方式


nohup azkaban-web-start.sh &


启动executor服务器


[root@hadoop-demo ~]$ azkaban-executor-start.sh


后台启动方式


nohup azkaban-executor-start.sh &


验证


打开谷歌或是火狐浏览器输入https://服务器ip:8443


可看到以下界面:




输入在配置文件azkaban-users.xml,中配置的用户名密码azkaban/azkaban,点击登录




3.Azkaban Web可视化平台介绍以及使用


首页有四个菜单


  • projects:项目/工程,管理工程,已经工程下的工作流,作业等。左侧是分类,个人/分组/全部

  • scheduling:显示定时任务

  • executing:显示当前运行的任务

  • history:显示历史运行任务


创建工程:


一个工程可以包含多个flows,一个flows可以包含多个job;job代表一个作业,作业可以是shell命令,shell脚本等。一个作业可以依赖其他作业,这样的作业组成的流图叫flow。


1、Command 类型单一 job 示例


(1)首先创建一个工程,填写名称和描述




(2)点击创建之后



  • Flows:工作流程,由多个job组成

  • Permissions:权限

  • Project Logs:项目日志


(3)job的创建


创建job很简单,只要创建一个以.job结尾的文本文件就行了,例如我们创建一个工作,用来打印hello,名字叫做command.job


可以先创建command.txt,写入一下内容后将后缀改为.job


# 第一个job

type=command

command=echo 'hello'


这样job就创建好了,type等于command的意思是告诉azkaban用unix原生命令去运行个工程不可能只有一个job,我们现在创建多个依赖job,这也是采用azkaban的首要目的。


(4)将 job 资源文件打成压缩zip包


千万注意:只能是zip格式


(5)通过 azkaban web 管理平台创建 project 并上传压缩包



查看工程




执行flow,点击Execute,Schedule是使用cron表达式定时执行




执行结果,点击details查看日志




执行日志




2、Command 类型多 job 工作流 flow


(1)创建项目


我们说过多个jobs和它们的依赖组成flow。怎么创建依赖,只要指定dependencies参数就行了。定义3个job:


1、a.job


2、b.job


3、c.job


依赖关系:3依赖1和2


a.job


type=command

command=echo 'a'


b.job


type=command

command=echo 'b'


c.job


type=command

command=echo 'c'

#多个依赖用逗号隔开

dependencies=a,b


(2)上传


说明


  • Flow view:流程视图。可以禁用,启用某些job

  • Notification:定义任务成功或者失败是否发送邮件

  • Failure Options:定义一个job失败,剩下的job怎么执行

  • Concurrent:并行任务执行设置

  • Flow Parametters:参数设置。可指定执行器执行


(3)执行一次


设置参数,点击execute。绿色代表成功,蓝色是运行,红色是失败。可以查看job运行时间,依赖和日志,点击details可以查看各个job运行情况。


(4)执行定时任务


选择日期生成cron表达式,根据cron表达式进行定时执行


4 Azkaban API 功能预览


官方api地址:https://azkaban.github.io/azkaban/docs/latest/#ajax-api


文档是英文文档, 建议大家不要谷歌翻译, 谷歌翻译后更加不通顺,有阅读障碍


功能预览:


  • Authenticate 认证登录

  • Create a Project 创建项目

  • Delete a Project 删除项目

  • Upload a Project Zip 上传zip包

  • Fetch Flows of a Project 获取一个项目中所有流的id

  • Fetch Jobs of a Flow 获取一个流下面的所有作业

  • Fetch Executions of a Flow 获取一个流的执行情况

  • Fetch Running Executions of a Flow 获取一个正在执行的流的信息

  • Execute a Flow 执行一个流

  • Cancel a Flow Execution 关闭一个正在执行的流

  • Schedule a period-based Flow (Deprecated) 定时执行一个流

  • Flexible scheduling using Cron 使用cron表达式定时执行

  • Fetch a Schedule 获取调度

  • Unschedule a Flow 取消调度

  • Set a SLA 设置SLA

  • Fetch a SLA 获取一个SLA

  • Pause a Flow Execution 暂停一个流

  • Resume a Flow Execution 重新执行一个流

  • Fetch a Flow Execution 获取流的详细执行情况

  • Fetch Execution Job Logs 获取Job日志

  • Fetch Flow Execution Updates 它通过lastUpdateTime过滤,后者只返回事后更新的作业信息。


4.1 对接Azkaban,进行二次开发,使其嵌入到系统中


这些是从生产环境中封装好的, 大家可以直接运用到实际工作中。


End.

爱统计网专栏作者:尘心Jason

浏览99 评论0
返回
目录
返回
首页
Cloud image镜像linux使用virt-customize工具修改密码 grok语法过滤Centos7 ssh登陆日志方法

发表评论