將 Jenkins Job 的歷史結果整理出視覺化的 Daily Report mail (三)

-
為了寄出統整 Jenkins 上游 Job 的 daily report mail，第一篇說明了 Jenkins Daily Report Job 的設定，第二篇說明了如何用 Python script 統計 Job result 以及產生視覺化的圖表。本篇說明如何用 jelly script 產生 html 格式的 mail，email 裡面除了顯示第二篇文章中產生的視覺畫圖表之外，也會包含前一天每個小時的 Job 結果，如下圖：

Email-exit Plugin 會預設 jelly script 的位置在 $JENKINS_HOME/email-templates 目錄底下，但是安裝完畢時並沒有這個目錄，也就是說要自己在 Jenkins 安裝目錄下新建一個 email-templates 的 folder，然後把 jelly scripts 放在這個 folder 之下，以我們的例子來說就是 load-monitor-dailyreport.jelly
詳細說明可以參考 Email-ext plugin 的網頁。

這裡可以找到一些 email-ext 提供的 jelly script 的範例，建議要快速上手，可以 copy 一個來改，ex: html.jelly。這個 html.jelly script 預設會包含 change set, maven, junit 等相關的內容，但是因為我們的上游 Job 都是自訂的，因此需要自己修改 script 內容，後文只說明與 daily report 有關的部分。

Jelly Script 的架構如下，後續說明主要都是 BODY 裡面的內容。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
<?jelly escape-by-default='true'?>
<!DOCTYPE html [
    <!ENTITY nbsp "&#38;#38;nbsp&#59;">
]>
<j:jelly xmlns:j="jelly:core" xmlns:st="jelly:stapler" xmlns:d="jelly:define">

<STYLE>
...
</STYLE>
<BODY>

<!-- GENERAL INFO -->

</BODY>
</j:jelly>

一開始先讀取相關的環境變數
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
<j:set var="buildenv" value="${build.getEnvironment(listener)}" />
<j:set var="testHost" value="${buildenv.get('COMPUTERNAME')}" />
<j:set var="jobName" value="${buildenv.get('MY_JOB_NAME')}" />
<j:set var="reportTag" value="${buildenv.get('REPORT_TAG')}" />

<TABLE>
  <TR><TD class="bg1" colspan="2"><B>Project Information</B></TD></TR>
  <TR><TD>Job:</TD><TD>${jobName}</TD></TR>
</TABLE>
<BR/>

顯示視覺化的 PNG 圖檔，這邊是假設圖檔放在區域網路內。
1
2
3
4
5
<TABLE>
  <TR><TD class="bg1" colspan="2"><B>Project Trend</B></TD></TR>
  <TR><TD><img alt="" src="file:///${testHost}/workshop/workspace/${jobName}/png/status_${reportTag}.png" /></TD></TR>
</TABLE>
<BR/>

最後顯示"前一天每個小時的 Job 結果"，上一篇文章裡有提到我們將資料轉成 HOURLY_DATA_0, HOURLY_DATA_1 這類的環境變數，在 jelly script 裡面再將其讀取出來。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
<j:set var="hourlyDataPre" value="HOURLY_DATA_" />
<j:set var="hourlyData" value="INIT_VALUE" />

<TABLE>
  <TR><TD class="bg1" colspan="2"><B>Hourly Status</B></TD></TR>
  <TR><TD>${reportTag}</TD></TR>
</TABLE>

<j:set var="hourlyDataSeq" value="0" />
<TABLE class="border1">
<j:while test="${hourlyData!=null}">
  <j:set var="hourlyData" value="${buildenv.get(hourlyDataPre + hourlyDataSeq)}" />
  <j:choose>
    <j:when test="${hourlyData!=null}">
      <TR>
      <j:forEach var="col" items="${hourlyData}">
        <j:if test="${col!='FAILURE' and col!='UNSTABLE'}">
          <TD class="border1">${col}</TD>
        </j:if>
        <j:if test="${col=='FAILURE'}">
          <TD class="border1"><span style="color:#ff0000">${col}</span></TD>
        </j:if>
        <j:if test="${col=='UNSTABLE'}">
          <TD class="border1"><span style="color:#FE9A2E">${col}</span></TD>
        </j:if>
      </j:forEach>
      </TR>
    </j:when>
  </j:choose>
  <j:set var="hourlyDataSeq" value="${hourlyDataSeq + 1}" />
</j:while>
</TABLE>
<BR/>

這樣我們就得到想要的 email 內容了。

要測試 jelly script 的內容是否正確，可以使用 Email-exit 提供的快速檢視的功能，輸入 jelly script 的檔名，選擇一次要檢視的 build number，就會立刻顯示郵件內容。以 DailyReport Job job 為例，Email Template Testing 的位置在 http://jenkinshost:8080/job/DailyReport/templateTest/



留言

張貼留言

這個網誌中的熱門文章

以樂透為例，用Python統計馬可夫矩陣

-
圖片
答案是矩陣裡的每個元素都是 1/49 (下一期開出某個號碼的機率)，完畢。 寫這篇的目的並不是真的想要得到"明牌"，只是找個題目練習一下 Python 與馬可夫模型；另一方面，樂透是大家都感興趣的題目，希望這樣應該比較容易理解，並不是真的可以算出明牌，如果有執迷不悟的，本文最後會說明為什麼。 馬可夫鏈 是機率問題中很常使用的模型，近年來因為大數據盛行，每個領域需要網路爬蟲收集大量資料 (分析關鍵字)， 自然語言處理 (NLP) 於是成為很熱門的領域，而 Markov model 是 使用統計方法處理自然語言時常用的方法，google 也是 使用 Markov model 來為每個網頁做 ranking。基本原理是，把每個網站當作節點，然後把連入與連出的連結當作是每個節點的連線，那抵達某個特定節點的機率就代表該頁面 (page) 的知名度；越容易抵達某個網頁代表被很多網頁參考，也就是該網頁知名度越高。 簡單來說，馬可夫模型主要就是從這個狀態到下一個狀態給定機率 P，而目前狀態到所有下一個狀態的機率總和一定為1。馬可夫矩陣可以用下圖表示： 上圖用大樂透來說明的話，本文要來練習的題目，目標是 統計出 106 年度每個號碼跟下期號碼之間的機率 ，i, j 都是 49，例如: P 25,49 代表本期開 25 號而下一期開 49 號的機率，而 P 25,1 P 25,2 ... P 25,49 加總起來會是 1。 再說一次，機率理論值其實都是 1/49，這邊只是練習馬可夫模型與 Python ，因為樣本數太小，人很容易會覺得每期的號碼之間有關連，但是純粹只是機率問題。當統計的期數越多，其實會發現機率會越接近 1/49，本文只是幫助理解/說明與練習。 首先從網路上找到 106 年開獎的資料，內容如下，把內容存成 csv 檔案。Index 代表每一期開獎的號碼，Drop是落球順序，Seq是排序後的開獎順序，Special是特別號。 Index,Month,Day,Weekday,Drop1,Drop2,Drop3,Drop4,Drop5,Drop6,Seq1,Seq2,Seq3,Seq4,Seq5,Seq6,Special 1,1,3,二,18,41,47,49,22,42,18,22,41,42,47,49,45...
閱讀完整內容

將 Jenkins Job 的歷史結果整理出視覺化的 Daily Report mail (一)

-
圖片
當初在處理這個問題的時候，大部分都是參考國外的網站，使用 Jenkins 內建功能送 email 的文章很多，但是 像是要自訂 mail 內容，蒐集統整不同 Job 的狀態以及包含視覺化報表 的部分倒是很少看到，所以就做個紀錄與分享，一方面也是拋轉引玉，歡迎交流。 這裡的做法受限於 "Free-Style" 形式的 Jenkins Job，所以過程會比較繁瑣；但是換句話說，如果只想用 "Free-Style" 形式來創建 Jenkins Job，可以從這篇文章得到一些靈感。 這個主題為了盡量寫得詳細點，會分成三個部分： Jenkins Daily Report Job 的相關設定。( 本篇 ) 使用 Python/Pandas/matplotlib 做資料分析及處理 。 說明使用 jelly script 來客製化郵件內容 。 最後目標是每天自動送出視覺化統計 Jenkins Job 歷史狀態的 email，如下圖。 首先，本篇會說明以下主題: 設定 Jenkins 郵件相關 (gmail) SMTP 設定 需要安裝的 Jenkins Plugin 新增/設定一個 Jenkins "Daily Report" Job 這個系列 沒有 說明的部分如下: (我想這些在網路上應該都很容易可以找到相關資料) 安裝 Jenkins 設定 slave node，並在 slave node 上執行 Jenkins Job 設定 Jenkins 郵件相關 SMTP 設定 讓 Jenkins 寄出郵件需要設定 SMTP server，這邊以使用 gmail SMTP為範例。 Jenkins mail 設定在 "管理 Jenkins" => "設定系統"   http://localhost:8080/configure 詳細設定如下圖，設定完成可以勾選"寄測試信"，先試試看設定是否正確。 如果看到 "電子郵件成功寄出"就代表設定正確了。 已知目前 google 認為 Jenkins Plugin登入SMTP的方式安全性較低，使用者必須要自行 "啟用安全性較低的應...
閱讀完整內容

如何用 Jenkins API 取得 Job Build Result

-
當需要建構網頁取得 Jenkins Job 的結果，或是需要整理 Job 狀態並發送通知或郵件的時候，通常會需要透過 API 取得 Job Result Jenkins API 的 URL :  http://jenkinshost:8080/job/[jobName]/[buildNum]/api/json/ 但是如果打開 Jenkins Security 設定，使用 API 必須要登入 Jenkins 並有合法的權限 這個時候可以填上 APIToken，便可以登入並使用 API user 的 APIToken 可以從這個網址找到: http://jenkinshost:8080/user/[myaccount]/configure 以下是完整的實作方法: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 import json , urllib , urllib2 from threading import Event jenkinsMaster = "http://jenkinshost:8080" userID = "myaccount" APIToken = "1234567890" class HTTPBasic403AuthHandler (urllib2 . HTTPBasicAuthHandler): # retry with basic auth when facing a 403 forbidden def http_error_403( self , req, fp, code, msg, headers): host = req . get_host() realm = None return self . retry_http_basic_auth(host, req, realm) def get...
閱讀完整內容