將 Jenkins Job 的歷史結果整理出視覺化的 Daily Report mail (一)

-
當初在處理這個問題的時候，大部分都是參考國外的網站，使用 Jenkins 內建功能送 email 的文章很多，但是像是要自訂 mail 內容，蒐集統整不同 Job 的狀態以及包含視覺化報表的部分倒是很少看到，所以就做個紀錄與分享，一方面也是拋轉引玉，歡迎交流。

這裡的做法受限於 "Free-Style" 形式的 Jenkins Job，所以過程會比較繁瑣；但是換句話說，如果只想用 "Free-Style" 形式來創建 Jenkins Job，可以從這篇文章得到一些靈感。

這個主題為了盡量寫得詳細點，會分成三個部分：
  1. Jenkins Daily Report Job 的相關設定。( 本篇 )
  2. 使用 Python/Pandas/matplotlib 做資料分析及處理。
  3. 說明使用 jelly script 來客製化郵件內容。
最後目標是每天自動送出視覺化統計 Jenkins Job 歷史狀態的 email，如下圖。
首先，本篇會說明以下主題:
  1. 設定 Jenkins 郵件相關 (gmail) SMTP 設定
  2. 需要安裝的 Jenkins Plugin
  3. 新增/設定一個 Jenkins "Daily Report" Job
這個系列沒有說明的部分如下: (我想這些在網路上應該都很容易可以找到相關資料)
  1. 安裝 Jenkins
  2. 設定 slave node，並在 slave node 上執行 Jenkins Job

設定 Jenkins 郵件相關 SMTP 設定

讓 Jenkins 寄出郵件需要設定 SMTP server，這邊以使用 gmail SMTP為範例。
Jenkins mail 設定在 "管理 Jenkins" => "設定系統"  http://localhost:8080/configure

詳細設定如下圖，設定完成可以勾選"寄測試信"，先試試看設定是否正確。
如果看到 "電子郵件成功寄出"就代表設定正確了。
已知目前 google 認為 Jenkins Plugin登入SMTP的方式安全性較低，使用者必須要自行 "啟用安全性較低的應用程式存取權"，可以到這個網址做更改。我想未來 plugin 更新之後應該就不會有這個問題，這裡就不多著墨了。


因為後面我們要使用的是 Email Extension 這個功能及彈性較大的 plugin，因此也要做 SMTP 的設定，前面應該已經藉由"寄測試信"確定設定是正確的了，這邊就把相關設定填上就好。如下圖。

需要安裝的 Jenkins Plugin

接下來，先說明一下需要用到的 Jenkins Plugin，

  1. 因為使用 "Free-Style" Job，為了方便讓其他 Job trigger "Daily Report" job，可以把 Job 需要的參數放在檔案裡，然後使用 EnvInject Plugin 來讀進相關參數。( 後文為了讓 jelly script 寫起來簡單一點，還會用來把格式化後的資料放到環境變數。)
  2. 若要指定在哪個 Slave Node 上執行 Job，可以安裝 NodeLabel Parameter Plugin，然後在"參數化建置" 裡面新增一個 Node參數用來指定執行 Job 的 Node。
  3. user build vars 非必要，但是可以用來取得 user name，依照不同情境應該會有需要。

新增一個 Jenkins "Daily Report" Job

現在 Jenkins server 已經有能力可以寄發郵件，接下來我們要新增一個 Jenkins "Free-style" Job (後文將此自訂的 Job 都稱之為 DailyReport Job) 來負責 :
  1. 在 Slave Node 執行一個 Python script 去讀取之前記錄在 csv 檔案內的 Job Status，並生成視覺化圖表
  2. 執行 jelly script 來產生郵件內容
  3. Jenkins server 送出郵件
這裡假設需要的上游 Job Result/History 已經存在 csv 檔案內，Job Result 可以透過 Jenkins API 取得 (可參考這篇)，當然也可以存在資料庫，用 csv 只是因為資料量不大且方便說明。

接下來開始設定這個 Daily Report Job。

首先使用自訂工作區，這樣在 Jenkins Job 內設定的相對路徑都會在工作區裡面，要避免把資料放在 Jenkins 安裝目錄下。



然後我們幫這個 Job 新增一個字串參數 JOB_PROP，用來指定/傳遞Job 參數的檔案路徑。如果要指定執行 Job 的 Slave Node，就一併新增一個 Node 參數。

接下來把這個 JOB_PROP 指定的檔案內容用 EnvInject 的功能，Inject 成這個 Job 的環境變數。然後再呼叫 daily_report.bat，去執行 daily_report.py，就可以從 daily_report.py 裡面讀取到相關的環境變數 (Job 參數)。如下圖。

在 daily_report.py 裡面，我們會把 REPORT_TAG 這個參數 ( 用來記錄及辨識此次 report 的標籤 ) 寫到 daily-report.prop 檔案裏面，所以執行完 python script 之後，要把 daily-report.prop inject 一次。

daily_report.py 會做以下工作：
  1. 統計上游 Job Result 的資料
  2. 產生視覺化圖表
  3. 產生 mail 需要的格式化資料 ( 儲存在 ${REPORT_TAG}.csv.prop 然後同樣 inject 成 environment variable 以便 jelly script 使用，如下圖 )

最後，在 "建置後動作" 中選取 "可編式電子郵件通知"，在專案收件人清單中加上 $DAILY_REPORT_MAIL_TO，讓我們可以自訂收件人，而不用更改 Job config。然後把 "預設內容" 改成執行 jelly script，如下圖。


這樣 Jenkins Job 設定的部分就全部完成了，接下來，第二篇會說明 daily_report.py 的實作 (包含 pandas/matplotlib 的使用)，第三篇會說明 jelly script 的實作。

留言

張貼留言

這個網誌中的熱門文章

以樂透為例，用Python統計馬可夫矩陣

-
圖片
答案是矩陣裡的每個元素都是 1/49 (下一期開出某個號碼的機率)，完畢。 寫這篇的目的並不是真的想要得到"明牌"，只是找個題目練習一下 Python 與馬可夫模型；另一方面，樂透是大家都感興趣的題目，希望這樣應該比較容易理解，並不是真的可以算出明牌，如果有執迷不悟的，本文最後會說明為什麼。 馬可夫鏈 是機率問題中很常使用的模型，近年來因為大數據盛行，每個領域需要網路爬蟲收集大量資料 (分析關鍵字)， 自然語言處理 (NLP) 於是成為很熱門的領域，而 Markov model 是 使用統計方法處理自然語言時常用的方法，google 也是 使用 Markov model 來為每個網頁做 ranking。基本原理是，把每個網站當作節點，然後把連入與連出的連結當作是每個節點的連線，那抵達某個特定節點的機率就代表該頁面 (page) 的知名度；越容易抵達某個網頁代表被很多網頁參考，也就是該網頁知名度越高。 簡單來說，馬可夫模型主要就是從這個狀態到下一個狀態給定機率 P，而目前狀態到所有下一個狀態的機率總和一定為1。馬可夫矩陣可以用下圖表示： 上圖用大樂透來說明的話，本文要來練習的題目，目標是 統計出 106 年度每個號碼跟下期號碼之間的機率 ，i, j 都是 49，例如: P 25,49 代表本期開 25 號而下一期開 49 號的機率，而 P 25,1 P 25,2 ... P 25,49 加總起來會是 1。 再說一次，機率理論值其實都是 1/49，這邊只是練習馬可夫模型與 Python ，因為樣本數太小，人很容易會覺得每期的號碼之間有關連，但是純粹只是機率問題。當統計的期數越多，其實會發現機率會越接近 1/49，本文只是幫助理解/說明與練習。 首先從網路上找到 106 年開獎的資料，內容如下，把內容存成 csv 檔案。Index 代表每一期開獎的號碼，Drop是落球順序，Seq是排序後的開獎順序，Special是特別號。 Index,Month,Day,Weekday,Drop1,Drop2,Drop3,Drop4,Drop5,Drop6,Seq1,Seq2,Seq3,Seq4,Seq5,Seq6,Special 1,1,3,二,18,41,47,49,22,42,18,22,41,42,47,49,45...
閱讀完整內容

如何用 Jenkins API 取得 Job Build Result

-
當需要建構網頁取得 Jenkins Job 的結果，或是需要整理 Job 狀態並發送通知或郵件的時候，通常會需要透過 API 取得 Job Result Jenkins API 的 URL :  http://jenkinshost:8080/job/[jobName]/[buildNum]/api/json/ 但是如果打開 Jenkins Security 設定，使用 API 必須要登入 Jenkins 並有合法的權限 這個時候可以填上 APIToken，便可以登入並使用 API user 的 APIToken 可以從這個網址找到: http://jenkinshost:8080/user/[myaccount]/configure 以下是完整的實作方法: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 import json , urllib , urllib2 from threading import Event jenkinsMaster = "http://jenkinshost:8080" userID = "myaccount" APIToken = "1234567890" class HTTPBasic403AuthHandler (urllib2 . HTTPBasicAuthHandler): # retry with basic auth when facing a 403 forbidden def http_error_403( self , req, fp, code, msg, headers): host = req . get_host() realm = None return self . retry_http_basic_auth(host, req, realm) def get...
閱讀完整內容