我們的重點從評估一般LM能力轉(zhuǎn)移到評估我們特定的膳食計劃模型的性能。這意味著仔細判斷我們的提示的有效性和由此產(chǎn)生的膳食計劃的質(zhì)量。在此之前,我們需要組裝我們的工具包:
1.定義你的指標
什么是度量標準?衡量是衡量你的評價的磁帶--我們用來評估成功的量化標準。例如,在食品科學(xué)中,有很多變量會影響菜的味道:口感、溫度、鹽、酸性、脂肪含量等等。然而,一個人理解其中任何一種的方式是通過一些指標:例如。,每一口含脂肪量的克數(shù),或由10人組成的1-10等級的口腔感覺。這些"輸出度量"是衡量標準--我們能夠理解我們感興趣的性能的方法。良好的度量應(yīng)該是明確的、一致的和定量的,以幫助您理解模型的行為。
要確定哪些度量標準適用于您的產(chǎn)品,請考慮機器人性能的哪些方面最重要。雖然通用度量提供了一個起點,但請記住,您可能需要至少一個定制的度量,以適合您唯一的飲食規(guī)劃應(yīng)用程序。食譜的適宜性、飲食的堅持性和口味偏好等方面可能沒有被標準的衡量標準完全捕捉到。考慮這些類別可能與我們的用例特別相關(guān),從各個NLP任務(wù)中的既定評價實踐中吸取靈感:
營養(yǎng)精確度
· 宏觀和微量營養(yǎng)素校準 :生成的膳食計劃是否會影響到用戶的熱量和宏觀目標?必要的維生素和礦物質(zhì)是否充分結(jié)合?在這里,我們可以利用定量分析,制定能夠捕捉到,例如,每個反應(yīng)的平均維生素含量的措施。
· 飲食限制的堅持 :機器人是否一貫尊重用戶偏好,如素食主義、素食主義或過敏癥?可以自動檢查是否存在特定成分。這涉及生成的膳食計劃的"相關(guān)性",確保它們滿足用戶的具體需求。
加工質(zhì)量和可行性
· 完整性和明確性 :這些食譜是否結(jié)構(gòu)合理,有詳細的成分清單和易于理解的說明?這方面可能受益于自動檢查結(jié)構(gòu)要素和關(guān)于清晰度的人的質(zhì)量反饋。
· 成分供應(yīng)及成本 :在大多數(shù)雜貨店,所需的原料是否容易買到?膳食計劃是否符合實際的預(yù)算限制?這關(guān)系到膳食計劃的"基礎(chǔ)"--確保它們是基于真實世界的數(shù)據(jù)和約束?？紤]使用外部數(shù)據(jù)源或API來驗證成分的可用性和平均成本。
· 品味和多樣性 *雖然主觀,但收集用戶對膳食計劃總體吸引力和多樣性的反饋至關(guān)重要。這種定性數(shù)據(jù)可以通過調(diào)查、評級或?qū)彶閬硎占?
用戶體驗
· 使用方便 :用戶能輕易輸入他們的信息并收到個性化的計劃嗎?A/B測試不同的接口設(shè)計,并通過問卷收集用戶的反饋,可以非常有效。模型的響應(yīng)是否容易理解和直觀?
· 定制選項 機器人允許靈活性嗎?用戶是否可以根據(jù)自己的喜好調(diào)整部分、換餐或要求其他選擇?跟蹤用戶使用這些功能的頻率,分析他們對結(jié)果的滿意度。您可以通過跟蹤用戶生成膳食計劃的頻率、每個會話創(chuàng)建的計劃數(shù)量以及使用定制功能的頻率來衡量用戶參與度。此外,通過跟蹤用戶是否在一段時間內(nèi)返回到使用機器人來監(jiān)控用戶保留。
· 總體滿意度 :用戶對生成的計劃有多滿意?他們會把機器人推薦給其他人嗎?采用凈發(fā)起人得分(NPS)或滿意度等指標來衡量總體情緒。
負責(zé)的人工智能
· 毒性和偏見 機器人是否產(chǎn)生任何有害或令人討厭的內(nèi)容?它是否表現(xiàn)出基于性別、族裔或其他敏感屬性的偏見?仔細分析模型的輸出,可能使用現(xiàn)有的毒性和偏倚檢測工具,對于確保人工智能的道德和負責(zé)任至關(guān)重要。
· 幻覺癥 :機器人是否捏造信息或提出虛假索賠作為事實?鑒于配方的生成通常涉及創(chuàng)造性,而且可能并不總是有一個"正確"的答案,評估幻覺需要仔細考慮。采用多方面的方法,利用一致性檢查、針對外部數(shù)據(jù)庫的事實核實,以及重要的是用戶反饋。
業(yè)績指標
· 回應(yīng)時間: 機器人產(chǎn)生膳食計劃的速度有多快?這是用戶體驗的一個關(guān)鍵因素,特別是在實時交互設(shè)置中。
· 效率 :多少計算資源(例如:)機器人消費是為了生成膳食計劃嗎?平衡成本和績效對于可持續(xù)部署至關(guān)重要。
您選擇的評估方法將取決于您正在評估的具體指標。為了確定正確的指標,下面是一些需要思考的問題:
· 我們是否可以刪除指令中的任何歧義,以便測試人員能夠做出客觀的決定?
· 指標是否反映了我們試圖衡量的數(shù)量?我們應(yīng)該向評標師說明這個數(shù)量是多少。
o 你可能會問,"數(shù)量是指什么?"這與我們試圖解決的問題非常相關(guān)。例如,在評估真實性時,我們希望確保我們在答復(fù)中提出的任何主張都是基于事實的。這是通過準確性完成的。例如,如果我問,"斯蒂夫柯里有多高?你的模型回答說"他有6尺2寸",這是可以量化的說法。他實際上是6尺3寸所以反應(yīng)不準確。評級沒有主觀性。你的模型差了一英寸。
o 為了獲得更多的質(zhì)量評級,例如質(zhì)量或以下指導(dǎo),我們需要向評級者說明我們對這些計量的簡明定義意味著什么,以便他們能夠試圖做出量化的判斷。關(guān)鍵是,盡管結(jié)果大多是定性的,但測試人員需要將結(jié)果轉(zhuǎn)化為定量評估。這降低了評級的主觀性。
2.選擇評估方法
在選擇評估度量標準的方法之前,請仔細考慮每種方法的優(yōu)缺點:
定量評估
這個方法使用基于預(yù)先定義的規(guī)則的自動檢查,客觀地衡量你的膳食計劃員的表現(xiàn)的具體方面,如營養(yǎng)準確性,遵守飲食限制,成分供應(yīng)和成本。
定性反饋
對于更主觀和微妙的方面,如食譜質(zhì)量,品味吸引力,和整體用戶滿意度,收集豐富的,上下文反饋直接從用戶通過調(diào)查,焦點小組,或一對一訪談。
A/B試驗
A/B測試是數(shù)據(jù)驅(qū)動決策的一種強大技術(shù),它涉及到對不同版本的模型進行比較(例如:,在激勵策略或數(shù)據(jù)來源方面有所不同)或試驗不同的提示。通過衡量您選擇的指標的性能,您可以確定哪種方法產(chǎn)生最佳結(jié)果和用戶體驗。
協(xié)助評價
一個有趣的方法是利用另一個LLM的能力來評估你的飲食規(guī)劃LL的輸出。這使你可以利用LLM的先進推理能力,這對于評估膳食計劃的復(fù)雜或主觀方面特別有幫助,例如整體一致性、配方吸引力以及適合用戶的特定飲食需求和偏好。
人的評價
雖然人力資源更密集,但人的判斷力提供了寶貴的見解,特別是在需要專家知識時?？紤]讓營養(yǎng)學(xué)家評估生成的膳食計劃的準確性和飲食堅持性,或收集經(jīng)驗豐富的廚師對食譜清晰度和實用性的反饋。然而,重要的是要承認主觀性的潛力,特別是在評價諸如品味偏好等方面時。
下載文檔
