【 MLOps 】使用 AzureML 記錄計量、參數與檔案

內容

• 學習目標
• 前置準備作業
• 前言
• 使用 run.log
• 使用 run.log_list
• 使用 run.log_row
• 使用 run.log_table
• 使用 run.log_image

學習目標

• 如何使用 AzureML 中的 log、log_list、log_row、log_table、log_image 進行實驗過程中的數據進行保存。

前置準備作業

• 已建立 Azure 帳號並能正常登入

  • https://portal.azure.com/

• 已於 Microsoft Azure Machine Learning Studio 建立所要使用的 Compute
  

• 確認 Compute instance 與 Python 3.8 - AuzreML 是否為綠燈 ( 綠燈代表正常運作中 ) 且已建立 Juypter Notebook

前言

• 在 Azure Machine Learning 中使用 AzureML 記錄實驗計量資料，透過 AzureML 在實驗運行期間將資料進行有效保存，以便進行後續分析和比較不同模型間的表現。

上傳 Sample Code

• 在 Jupyter Notebook 中執行下方指令

!git clone https://github.com/ArcherHuang/AzureML_Log.git

• 點選程式區塊左側的 ▷ 以執行程式

• 執行結果

使用 run.log

• 修改 log-python 資料夾中的 log.py 為以下的程式

• 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

• 執行結果
  • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

• 正確執行完成後會從 藍色 變為 綠色

  • 執行中
    
  • 執行完成
    

• 確認 Metrics

  • 點選右上角的 Job overview
    

  • 點選 Metrics
    

  • 顯示 run.log 的結果
    

使用 run.log_list

• 修改 log-python 資料夾中的 log.py 為以下的程式

• 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

• 執行結果
  • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

• 正確執行完成後會從 藍色 變為 綠色

  • 執行中
    

  • 執行完成
    

• 確認 Metrics

  • 點選右上角的 Job overview
    

  • 點選 Metrics
    

  • 顯示 run.log_list 的結果

    • 以 line chart 呈現
      
    • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)
      

使用 run.log_row

• 修改 log-python 資料夾中的 log.py 為以下的程式

• 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

• 執行結果

  • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱
    

  • 正確執行完成後會從 藍色 變為 綠色

    • 執行中
      
    • 執行完成
      

• 確認 Metrics

  • 點選右上角的 Job overview
    

  • 點選 Metrics
    

  • 顯示 run.log_row 的結果

    • 以 line chart 呈現
      
    • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)
      

使用 run.log_table

• 修改 log-python 資料夾中的 log.py 為以下的程式

• 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

• 執行結果

  • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱
    

  • 正確執行完成後會從 藍色 變為 綠色

    • 執行中
      
    • 執行完成
      

• 確認 Metrics

  • 點選右上角的 Job overview
    

  • 點選 Metrics
    

  • 顯示 run.log_table 的結果

    • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)
      

使用 run.log_image

• 修改 log-python 資料夾中的 log.py 為以下的程式

• 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

• 執行結果

  • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱
    

  • 正確執行完成後會從 藍色 變為 綠色

    • 執行中
      
    • 執行完成
      

• 確認 Metrics

  • 點選右上角的 Job overview
    

  • 點選 Images
    

  • 顯示 run.log_image 的結果
    

Reference

• https://learn.microsoft.com/zh-tw/python/api/azureml-core/azureml.core.run(class)?view=azure-ml-py

Sample Code

• https://github.com/ArcherHuang/AzureML_Log

GitHub

• ArcherHuang @ GitHub

List of blogs

• https://learningsky.io/author/archer/
• https://medium.com/@mmosconii