預測和評分
執行一次模型,再重複使用儲存的答案。
**推論來源(Inference Source)**是產生答案的模型,可以是本地 Model,也可以是透過 API Profile 連線的服務。
**生成預測(Prediction Generation)會在所選樣本上呼叫這個來源,把答案及使用的輸入、設定儲存在預測集(Prediction Set)**中。請求 Fog 範圍時,還會儲存加霧圖片的答案。
之後的**評估(Evaluation)**把預測與參考標籤比較,計算你選擇的指標。
為什麼分成兩步?
執行模型可能比評分耗時得多。預測集準備好後,可以使用其他相容指標或標準,無需重複推論。
例如,只生成一次原圖與 Fog 強度 3 的預測。先用 20% 下降上限評估,再用另一個有理由的上限建立獨立評估。兩次評估使用相同的已儲存答案。
什麼時候需要重新生成?
更換模型、輸入資料、樣本範圍、推論設定或所需覆蓋範圍時,需要新的預測集。儲存的預測集保持固定,不能之後再加入新的霧強度。
修改報告文字或版式,不需要重新生成預測或執行評估。