LearningSky.io

【 MLOps 】使用 AzureML 記錄計量、參數與檔案

Archer -

內容

  • 學習目標
  • 前置準備作業
  • 前言
  • 使用 run.log
  • 使用 run.log_list
  • 使用 run.log_row
  • 使用 run.log_table
  • 使用 run.log_image

學習目標

  • 如何使用 AzureML 中的 log、log_list、log_row、log_table、log_image 進行實驗過程中的數據進行保存。

前置準備作業

  • 已建立 Azure 帳號並能正常登入

  • 已於 Microsoft Azure Machine Learning Studio 建立所要使用的 Compute

  • 確認 Compute instance 與 Python 3.8 - AuzreML 是否為綠燈 ( 綠燈代表正常運作中 ) 且已建立 Juypter Notebook

前言

  • 在 Azure Machine Learning 中使用 AzureML 記錄實驗計量資料，透過 AzureML 在實驗運行期間將資料進行有效保存，以便進行後續分析和比較不同模型間的表現。

上傳 Sample Code

  • 在 Jupyter Notebook 中執行下方指令
!git clone https://github.com/ArcherHuang/AzureML_Log.git
  • 點選程式區塊左側的 ▷ 以執行程式

  • 執行結果

使用 run.log

  • 修改 log-python 資料夾中的 log.py 為以下的程式

  • 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

  • 執行結果
    • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

  • 正確執行完成後會從 藍色 變為 綠色

    • 執行中
    • 執行完成

  • 確認 Metrics

    • 點選右上角的 Job overview

    • 點選 Metrics

    • 顯示 run.log 的結果

使用 run.log_list

  • 修改 log-python 資料夾中的 log.py 為以下的程式

  • 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

  • 執行結果
    • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

  • 正確執行完成後會從 藍色 變為 綠色

    • 執行中

    • 執行完成

  • 確認 Metrics

    • 點選右上角的 Job overview

    • 點選 Metrics

    • 顯示 run.log_list 的結果

      • 以 line chart 呈現
      • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)

使用 run.log_row

  • 修改 log-python 資料夾中的 log.py 為以下的程式

  • 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

  • 執行結果

    • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

    • 正確執行完成後會從 藍色 變為 綠色

      • 執行中
      • 執行完成

  • 確認 Metrics

    • 點選右上角的 Job overview

    • 點選 Metrics

    • 顯示 run.log_row 的結果

      • 以 line chart 呈現
      • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)

使用 run.log_table

  • 修改 log-python 資料夾中的 log.py 為以下的程式

  • 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

  • 執行結果

    • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

    • 正確執行完成後會從 藍色 變為 綠色

      • 執行中
      • 執行完成

  • 確認 Metrics

    • 點選右上角的 Job overview

    • 點選 Metrics

    • 顯示 run.log_table 的結果

      • 以 Table 呈現 (點選右邊 ︙ > 再點選 View as table)

使用 run.log_image

  • 修改 log-python 資料夾中的 log.py 為以下的程式

  • 點選 use_log.ipynb 程式區塊點擊 Alt + R 以執行所有程式區塊

  • 執行結果

    • 點選左側的 Pipelines > 再點選最新的 Display name 所顯示的名稱

    • 正確執行完成後會從 藍色 變為 綠色

      • 執行中
      • 執行完成

  • 確認 Metrics

    • 點選右上角的 Job overview

    • 點選 Images

    • 顯示 run.log_image 的結果

Reference

Sample Code

GitHub

List of blogs