將 Jenkins Job 的歷史結果整理出視覺化的 Daily Report mail (二)

-
前一篇文章說明了 Daily Report 的 Jenkins Job 設定，接下來本篇會說明如何實作 daily_report.py

這個 script 會生成像這樣的 PNG 圖表：
首先要安裝 Pandas 及 matplotlib，我們會使用 Pandas 來讀取 csv 檔案並使用相關便捷的功能來簡化/加速資料分析的步驟，並使用 matplotlib 來產生視覺化的 PNG 圖檔。

python -m pip install Pandas
python -m pip install matplotlib

script 相關的 module import 如下：

1
2
3
4
5
6
import os, time, sys, re
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mdates
from datetime import datetime, date, timedelta

我們在 Jenkins Job 內設定預設讀取 config\daily_report_demo.prop，當作 Job 參數。
config\daily_report_demo.prop 的內容如下：

MY_JOB_NAME=daily_report_demo
DAILY_REPORT_MAIL_TO=my_account@gmail.com

MY_JOB_NAME 是指定上游 Jenkins Job 的 Job name，意思就是這個 Daily Report 是統整 daily_report_demo 這個 Job 的建置結果。所以接下來：
  1. 讀取 WORKSPACE 環境變數，這個環境變數是 Jenkins 設定的，用來取得 Jenkins job 的自訂工作區位置，以我們之前的設定為例，工作區是在 D:\workshop
  2. 讀取 MY_JOB_NAME 環境變數
1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
if __name__ == '__main__':
    
    try:
     env_workspace = os.environ["WORKSPACE"]
     env_job_name = os.environ["MY_JOB_NAME"]
    except Exception as e:
     print ("Error: can not find environment variables")
     raise e

    folder = "%s\\workspace\\%s"%(env_workspace, env_job_name)
    if not os.path.exists(folder):
     print ("%s not exist!"%folder)
     sys.exit(1)

接下來讀取之前上游 Job 建置時留下的紀錄 (.csv)，csv 檔案的內容如下：

BUILD_NUMBER,BUILD_TIMESTAMP,RESULT,BUILD,DOWNLOAD,BOOTUP,REBOOT
1,06:00:00,SUCCESS,SUCCESS,SUCCESS,SUCCESS,SUCCESS
2,07:00:00,FAILURE,SUCCESS,SUCCESS,FAILURE,FAILURE
3,08:00:00,FAILURE,SUCCESS,SUCCESS,FAILURE,FAILURE
4,09:00:00,FAILURE,SUCCESS,SUCCESS,FAILURE,FAILURE
...
15,20:00:00,SUCCESS,SUCCESS,SUCCESS,SUCCESS,SUCCESS
16,21:00:00,SUCCESS,SUCCESS,SUCCESS,SUCCESS,SUCCESS
17,22:00:00,UNSTABLE,SUCCESS,SUCCESS,SUCCESS,SUCCESS
18,23:00:00,SUCCESS,SUCCESS,SUCCESS,SUCCESS,SUCCESS

daily_report_demo Job 共有四個下游 Job，分別是 BUILD，DOWNLOAD，BOOTUP，REBOOT，csv 檔名會以建置日期作命名，ex: 2018-03-20.csv，內容就是每一次建置的結果。

然後，為了在 mail 裡面表列前一天所有建置的結果，會讀取最新的一筆csv紀錄，並轉成環境變數的格式紀錄在 workspace\daily_report_demo\hourly\2018-03-20.csv.prop，方便從 jelly script 中讀取，會在第三篇說明 jelly script 的文章再詳細說明。

HOURLY_DATA_0=BUILD_NUMBER,BUILD_TIMESTAMP,RESULT,BUILD,DOWNLOAD,BOOTUP,REBOOT
HOURLY_DATA_1=1,06:00:00,SUCCESS,SUCCESS,SUCCESS,SUCCESS,SUCCESS
HOURLY_DATA_2=2,07:00:00,FAILURE,SUCCESS,SUCCESS,FAILURE,FAILURE
HOURLY_DATA_3=3,08:00:00,FAILURE,SUCCESS,SUCCESS,FAILURE,FAILURE
...


1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
    today = datetime.today()
    report_tag = ""

    hourly_folder = "%s\\hourly"%(folder)
    if not os.path.exists(hourly_folder):
        os.makedirs(hourly_folder)

    try:
        dirs = os.listdir(folder)
        dirs.sort(key=natural_keys)
        dirs = reversed(dirs)
        for file in dirs:
            if not file.endswith("csv"):
                continue
            csv_path = "%s\\%s"%(folder, file)

            # Read a line then write to .prop file for later environment variable injection
            prop_path = "%s\\%s.prop"%(hourly_folder, file)
            with open(prop_path, "w") as prop_file:
                if prop_file != "":
                    with open(csv_path, "r") as csv_file:
                        report_tag = file.strip(".csv")
                        i = 0
                        for line in csv_file:
                            prop_file.write("HOURLY_DATA_%s=%s"%(str(i), line))
                            i += 1
            # only processing the latest record
            break
    except Exception as e:
        raise e

接下來，用 Pandas 讀取 csv 檔案，read_csv() 會回傳 dataframe。
1
df = pd.read_csv(csv_path)

定義一個 getStatistic(df, column, result)，用來回傳 dataframe 中指定欄位及內容的次數及百分比。以下面這行為例，就是計算 RESULT 欄位裡，SUCCESS 的次數及百分比。

1
rcount, rate = getStatistic(df, 'RESULT', 'SUCCESS')

說明一下 getStatistic() 的實作，df[colume] 是指向一個 Series，value_counts() 用來回傳這一欄裡 unique value 的次數，然後用 to_numeric() 轉成浮點數並進行百分比計算。

1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
def getStatistic(df, column, result):
    total = len(df[column])

    # special case, not return 0 but return None
    if total == 0:
        return None, None

    stat = df[column].value_counts()
    stat = pd.to_numeric(stat, downcast='float')

    rcount = 0
    rate = 0.0

    if result in stat:
        rcount = stat[result]

    if rcount != 0:
        rate = rcount/total*100

    return rcount, rate

完整的代碼如下：
為了方便理解，所以把不同欄位的資料給定不同的變數名稱。
date_list 是 x軸資料，代表每一天的建置狀態。
s_rate_list 這些是第一個 y軸的資料，代表 SUCCESS/FAILURE/UNSTABLE 的百分比。
build_f_count_list 這些是第二個 y軸的資料，代表下游 job failure 的次數。
1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
    report_days = 14
    pattern = "(.*).csv"
    date = ""
    date_list = []
    s_rate_list = []
    f_rate_list = []
    u_rate_list = []
    build_f_count_list = []
    download_f_count_list = []
    bootup_f_count_list = []
    reboot_f_count_list = []

    try:
        dirs = os.listdir(folder)
        dirs.sort(key=natural_keys)
        dirs = reversed(dirs)
        for file in dirs:
            if not file.endswith("csv"):
                continue

            if report_days != 0:
                if len(date_list) >= report_days:
                    break

            csv_path = "%s\\%s"%(folder, file)
            df = pd.read_csv(csv_path)

            ## data for first y scale
            rcount, rate = getStatistic(df, 'RESULT', 'SUCCESS')
            # no data in this csv file
            if rcount == None:
                continue
            s_rate_list.append(rate)
            rcount, rate = getStatistic(df, 'RESULT', 'FAILURE')
            f_rate_list.append(rate)
            rcount, rate = getStatistic(df, 'RESULT', 'UNSTABLE')
            u_rate_list.append(rate)

            ## data for second y scale
            rcount, tmp = getStatistic(df, 'BUILD', 'FAILURE')
            build_f_count_list.append(rcount)
            rcount, tmp = getStatistic(df, 'DOWNLOAD', 'FAILURE')
            download_f_count_list.append(rcount)
            rcount, tmp = getStatistic(df, 'BOOTUP', 'FAILURE')
            bootup_f_count_list.append(rcount)
            rcount, tmp = getStatistic(df, 'REBOOT', 'FAILURE')
            reboot_f_count_list.append(rcount)

            ## date is x scale
            date_p = re.search(pattern, file)
            if date_p != None:
                rdate = date_p.group(1)

            date_list.append(rdate)

            print("\n")
    except Exception as e:
        raise e

這樣我們需要的資料都已經統計完畢，接下來就是使用 matplotlib 生成 PNG 檔案。

重點說明幾個地方，datestr2num() 會將日期字串轉成數字，顯示的時候再用 DateFormatter() 指定我們想要呈現的字串格式。
plot_date() 可以指定 x 軸或 y 軸為日期，預設是 x 軸為日期。
若是統計資料超過14天，內容會變得雜亂，因此超過14天會使用 WeekdayLocator()，並且不顯示 annotation。百分比若是 0% 或 100%，也一律不在圖表上顯示。

1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
    # use matplotlib to draw and export PNG
    fig, ax = plt.subplots()

    # first y scale is success/failure/unstable rate
    ax.set_xlabel("Date")
    ax.set_ylabel("Percentage")
    ax.set_title("Daily Status", y=1.2)
    ax.set_ylim(-10, 110)
    plt.subplots_adjust(top=0.8)

    dates = mdates.datestr2num(date_list)

    s_rect = ax.plot_date(dates, s_rate_list, color='tab:green', ls='solid', marker='.', lw=2, label='SUCCESS')
    f_rect = ax.plot_date(dates, f_rate_list, color='tab:red', ls='solid', marker='.', lw=2, label='FAILURE')
    u_rect = ax.plot_date(dates, u_rate_list, color='tab:orange', ls='solid', marker='.', lw=2, label='UNSTABLE')

    box = ax.get_position()
    ax.set_position([box.x0, box.y0 + box.height * 0.2, box.width, box.height * 0.8])

    ax.legend((s_rect[0], f_rect[0], u_rect[0]),
              ('SUCCESS', 'FAILURE', 'UNSTABLE'),
              bbox_to_anchor=(0., 1.10, 1., .102),
              ncol=3, loc='upper center', fontsize=7)
    ax.xaxis.set_major_formatter(mdates.DateFormatter('%m-%d'))

    isSkipAnno = False
    if (today - datetime.strptime(date_list[0], '%Y-%m-%d')) > timedelta(days=14):
        ax.xaxis.set_major_locator(mdates.WeekdayLocator())
        isSkipAnno = True
    else:
        ax.xaxis.set_major_locator(mdates.DayLocator())

    if not isSkipAnno:
        for i,j in zip(dates, s_rate_list):
            if j != 0.0 and j != 100.0:
                ax.annotate("{:.1f}%".format(j), xy=(i, j), fontsize=7)

        for i,j in zip(dates, f_rate_list):
            if j != 0.0 and j != 100.0:
                ax.annotate("{:.1f}%".format(j), xy=(i, j), fontsize=7)

        for i,j in zip(dates, u_rate_list):
            if j != 0.0 and j != 100.0:
                ax.annotate("{:.1f}%".format(j), xy=(i, j), fontsize=7)

接下來處理第二個 y 軸，因為共用 x 時間軸，所以呼叫 twinx()。
第二個 y 軸用來顯示 Failure 次數，因此用柱狀圖表示。

1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
    # second y scale is the failure counts of upstream jobs
    rects = []
    width = 0.2
    ax2 = ax.twinx()
    ax2.set_ylabel("Failure Counts")
    ax2.set_ylim(-2, 24)

    rects.append(ax2.bar(dates-width, build_f_count_list, width))
    rects.append(ax2.bar(dates, download_f_count_list, width))
    rects.append(ax2.bar(dates+width, bootup_f_count_list, width))
    rects.append(ax2.bar(dates+(width*2), reboot_f_count_list, width))

    ax2.legend((rects[0][0], rects[1][0], rects[2][0], rects[3][0]),
               ('Download', 'Build', 'Bootup', 'Reboot'),
               bbox_to_anchor=(0, 1.02, 1, .102),
               ncol=4, loc='upper center', fontsize=7)

    autolabel(ax2, rects[0])
    autolabel(ax2, rects[1])
    autolabel(ax2, rects[2])
    autolabel(ax2, rects[3])
    fig.autofmt_xdate()

autolabel() 的實作如下，用來計算顯示 annotation 的位置。

1
 2
 3
 4
 5
 6
 7
 8
 9
10
def autolabel(ax, rects):
    '''
    Attach a text label above each bar displaying its height
    '''
    for rect in rects:
        height = rect.get_height()
        if height != 0:
            ax.text(rect.get_x() + rect.get_width()/2., 1.05*height,
                '%d' % int(height), 
                ha='center', va='bottom')

接下來儲存成 PNG 檔案

1
2
3
4
5
6
7
    # save to PNG
    png_path = "%s\\png\\"%folder
    if not os.path.exists(png_path):
        os.makedirs(png_path)
    png_path = "%s\\status_%s.png"%(png_path, report_tag)

    plt.savefig("%s"%png_path, dpi=100, format="png")

可以看到我們用 report_tag 當作 PNG 檔名的一部份，因此我們把 report_tag 存在 prop 檔案裏面，讓 Jenkins Job inject 成環境變數。

1
2
3
4
5
6
7
8
    try:
        prop_path = "%s\\daily-report.prop"%folder
        with open(prop_path, "w") as prop_file:
            if report_tag != "":
                prop_file.write("REPORT_TAG=%s\n"%report_tag)
    except Exception as e:
        raise e
        sys.exit(1)

這樣 daily_report.py 就完成了。

留言

張貼留言

這個網誌中的熱門文章

以樂透為例，用Python統計馬可夫矩陣

-
圖片
答案是矩陣裡的每個元素都是 1/49 (下一期開出某個號碼的機率)，完畢。 寫這篇的目的並不是真的想要得到"明牌"，只是找個題目練習一下 Python 與馬可夫模型；另一方面，樂透是大家都感興趣的題目，希望這樣應該比較容易理解，並不是真的可以算出明牌，如果有執迷不悟的，本文最後會說明為什麼。 馬可夫鏈 是機率問題中很常使用的模型，近年來因為大數據盛行，每個領域需要網路爬蟲收集大量資料 (分析關鍵字)， 自然語言處理 (NLP) 於是成為很熱門的領域，而 Markov model 是 使用統計方法處理自然語言時常用的方法，google 也是 使用 Markov model 來為每個網頁做 ranking。基本原理是，把每個網站當作節點，然後把連入與連出的連結當作是每個節點的連線，那抵達某個特定節點的機率就代表該頁面 (page) 的知名度；越容易抵達某個網頁代表被很多網頁參考，也就是該網頁知名度越高。 簡單來說，馬可夫模型主要就是從這個狀態到下一個狀態給定機率 P，而目前狀態到所有下一個狀態的機率總和一定為1。馬可夫矩陣可以用下圖表示： 上圖用大樂透來說明的話，本文要來練習的題目，目標是 統計出 106 年度每個號碼跟下期號碼之間的機率 ，i, j 都是 49，例如: P 25,49 代表本期開 25 號而下一期開 49 號的機率，而 P 25,1 P 25,2 ... P 25,49 加總起來會是 1。 再說一次，機率理論值其實都是 1/49，這邊只是練習馬可夫模型與 Python ，因為樣本數太小，人很容易會覺得每期的號碼之間有關連，但是純粹只是機率問題。當統計的期數越多，其實會發現機率會越接近 1/49，本文只是幫助理解/說明與練習。 首先從網路上找到 106 年開獎的資料，內容如下，把內容存成 csv 檔案。Index 代表每一期開獎的號碼，Drop是落球順序，Seq是排序後的開獎順序，Special是特別號。 Index,Month,Day,Weekday,Drop1,Drop2,Drop3,Drop4,Drop5,Drop6,Seq1,Seq2,Seq3,Seq4,Seq5,Seq6,Special 1,1,3,二,18,41,47,49,22,42,18,22,41,42,47,49,45...
閱讀完整內容

將 Jenkins Job 的歷史結果整理出視覺化的 Daily Report mail (一)

-
圖片
當初在處理這個問題的時候，大部分都是參考國外的網站，使用 Jenkins 內建功能送 email 的文章很多，但是 像是要自訂 mail 內容，蒐集統整不同 Job 的狀態以及包含視覺化報表 的部分倒是很少看到，所以就做個紀錄與分享，一方面也是拋轉引玉，歡迎交流。 這裡的做法受限於 "Free-Style" 形式的 Jenkins Job，所以過程會比較繁瑣；但是換句話說，如果只想用 "Free-Style" 形式來創建 Jenkins Job，可以從這篇文章得到一些靈感。 這個主題為了盡量寫得詳細點，會分成三個部分： Jenkins Daily Report Job 的相關設定。( 本篇 ) 使用 Python/Pandas/matplotlib 做資料分析及處理 。 說明使用 jelly script 來客製化郵件內容 。 最後目標是每天自動送出視覺化統計 Jenkins Job 歷史狀態的 email，如下圖。 首先，本篇會說明以下主題: 設定 Jenkins 郵件相關 (gmail) SMTP 設定 需要安裝的 Jenkins Plugin 新增/設定一個 Jenkins "Daily Report" Job 這個系列 沒有 說明的部分如下: (我想這些在網路上應該都很容易可以找到相關資料) 安裝 Jenkins 設定 slave node，並在 slave node 上執行 Jenkins Job 設定 Jenkins 郵件相關 SMTP 設定 讓 Jenkins 寄出郵件需要設定 SMTP server，這邊以使用 gmail SMTP為範例。 Jenkins mail 設定在 "管理 Jenkins" => "設定系統"   http://localhost:8080/configure 詳細設定如下圖，設定完成可以勾選"寄測試信"，先試試看設定是否正確。 如果看到 "電子郵件成功寄出"就代表設定正確了。 已知目前 google 認為 Jenkins Plugin登入SMTP的方式安全性較低，使用者必須要自行 "啟用安全性較低的應...
閱讀完整內容

如何用 Jenkins API 取得 Job Build Result

-
當需要建構網頁取得 Jenkins Job 的結果，或是需要整理 Job 狀態並發送通知或郵件的時候，通常會需要透過 API 取得 Job Result Jenkins API 的 URL :  http://jenkinshost:8080/job/[jobName]/[buildNum]/api/json/ 但是如果打開 Jenkins Security 設定，使用 API 必須要登入 Jenkins 並有合法的權限 這個時候可以填上 APIToken，便可以登入並使用 API user 的 APIToken 可以從這個網址找到: http://jenkinshost:8080/user/[myaccount]/configure 以下是完整的實作方法: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 import json , urllib , urllib2 from threading import Event jenkinsMaster = "http://jenkinshost:8080" userID = "myaccount" APIToken = "1234567890" class HTTPBasic403AuthHandler (urllib2 . HTTPBasicAuthHandler): # retry with basic auth when facing a 403 forbidden def http_error_403( self , req, fp, code, msg, headers): host = req . get_host() realm = None return self . retry_http_basic_auth(host, req, realm) def get...
閱讀完整內容