我們的重點從評估一般LM能力轉(zhuǎn)移到評估我們特定的膳食計劃模型的性能。這意味著仔細(xì)判斷我們的提示的有效性和由此產(chǎn)生的膳食計劃的質(zhì)量。在此之前,我們需要組裝我們的工具包:
1.定義你的指標(biāo)
什么是度量標(biāo)準(zhǔn)?衡量是衡量你的評價的磁帶--我們用來評估成功的量化標(biāo)準(zhǔn)。例如,在食品科學(xué)中,有很多變量會影響菜的味道:口感、溫度、鹽、酸性、脂肪含量等等。然而,一個人理解其中任何一種的方式是通過一些指標(biāo):例如。,每一口含脂肪量的克數(shù),或由10人組成的1-10等級的口腔感覺。這些"輸出度量"是衡量標(biāo)準(zhǔn)--我們能夠理解我們感興趣的性能的方法。良好的度量應(yīng)該是明確的、一致的和定量的,以幫助您理解模型的行為。
要確定哪些度量標(biāo)準(zhǔn)適用于您的產(chǎn)品,請考慮機器人性能的哪些方面最重要。雖然通用度量提供了一個起點,但請記住,您可能需要至少一個定制的度量,以適合您唯一的飲食規(guī)劃應(yīng)用程序。食譜的適宜性、飲食的堅持性和口味偏好等方面可能沒有被標(biāo)準(zhǔn)的衡量標(biāo)準(zhǔn)完全捕捉到?？紤]這些類別可能與我們的用例特別相關(guān),從各個NLP任務(wù)中的既定評價實踐中吸取靈感:
營養(yǎng)精確度
· 宏觀和微量營養(yǎng)素校準(zhǔn) :生成的膳食計劃是否會影響到用戶的熱量和宏觀目標(biāo)?必要的維生素和礦物質(zhì)是否充分結(jié)合?在這里,我們可以利用定量分析,制定能夠捕捉到,例如,每個反應(yīng)的平均維生素含量的措施。
· 飲食限制的堅持 :機器人是否一貫尊重用戶偏好,如素食主義、素食主義或過敏癥?可以自動檢查是否存在特定成分。這涉及生成的膳食計劃的"相關(guān)性",確保它們滿足用戶的具體需求。
加工質(zhì)量和可行性
· 完整性和明確性 :這些食譜是否結(jié)構(gòu)合理,有詳細(xì)的成分清單和易于理解的說明?這方面可能受益于自動檢查結(jié)構(gòu)要素和關(guān)于清晰度的人的質(zhì)量反饋。
· 成分供應(yīng)及成本 :在大多數(shù)雜貨店,所需的原料是否容易買到?膳食計劃是否符合實際的預(yù)算限制?這關(guān)系到膳食計劃的"基礎(chǔ)"--確保它們是基于真實世界的數(shù)據(jù)和約束。考慮使用外部數(shù)據(jù)源或API來驗證成分的可用性和平均成本。
· 品味和多樣性 *雖然主觀,但收集用戶對膳食計劃總體吸引力和多樣性的反饋至關(guān)重要。這種定性數(shù)據(jù)可以通過調(diào)查、評級或?qū)彶閬硎占?
用戶體驗
· 使用方便 :用戶能輕易輸入他們的信息并收到個性化的計劃嗎?A/B測試不同的接口設(shè)計,并通過問卷收集用戶的反饋,可以非常有效。模型的響應(yīng)是否容易理解和直觀?
· 定制選項 機器人允許靈活性嗎?用戶是否可以根據(jù)自己的喜好調(diào)整部分、換餐或要求其他選擇?跟蹤用戶使用這些功能的頻率,分析他們對結(jié)果的滿意度。您可以通過跟蹤用戶生成膳食計劃的頻率、每個會話創(chuàng)建的計劃數(shù)量以及使用定制功能的頻率來衡量用戶參與度。此外,通過跟蹤用戶是否在一段時間內(nèi)返回到使用機器人來監(jiān)控用戶保留。
· 總體滿意度 :用戶對生成的計劃有多滿意?他們會把機器人推薦給其他人嗎?采用凈發(fā)起人得分(NPS)或滿意度等指標(biāo)來衡量總體情緒。
負(fù)責(zé)的人工智能
· 毒性和偏見 機器人是否產(chǎn)生任何有害或令人討厭的內(nèi)容?它是否表現(xiàn)出基于性別、族裔或其他敏感屬性的偏見?仔細(xì)分析模型的輸出,可能使用現(xiàn)有的毒性和偏倚檢測工具,對于確保人工智能的道德和負(fù)責(zé)任至關(guān)重要。
· 幻覺癥 :機器人是否捏造信息或提出虛假索賠作為事實?鑒于配方的生成通常涉及創(chuàng)造性,而且可能并不總是有一個"正確"的答案,評估幻覺需要仔細(xì)考慮。采用多方面的方法,利用一致性檢查、針對外部數(shù)據(jù)庫的事實核實,以及重要的是用戶反饋。
業(yè)績指標(biāo)
· 回應(yīng)時間: 機器人產(chǎn)生膳食計劃的速度有多快?這是用戶體驗的一個關(guān)鍵因素,特別是在實時交互設(shè)置中。
· 效率 :多少計算資源(例如:)機器人消費是為了生成膳食計劃嗎?平衡成本和績效對于可持續(xù)部署至關(guān)重要。
您選擇的評估方法將取決于您正在評估的具體指標(biāo)。為了確定正確的指標(biāo),下面是一些需要思考的問題:
· 我們是否可以刪除指令中的任何歧義,以便測試人員能夠做出客觀的決定?
· 指標(biāo)是否反映了我們試圖衡量的數(shù)量?我們應(yīng)該向評標(biāo)師說明這個數(shù)量是多少。
o 你可能會問,"數(shù)量是指什么?"這與我們試圖解決的問題非常相關(guān)。例如,在評估真實性時,我們希望確保我們在答復(fù)中提出的任何主張都是基于事實的。這是通過準(zhǔn)確性完成的。例如,如果我問,"斯蒂夫柯里有多高?你的模型回答說"他有6尺2寸",這是可以量化的說法。他實際上是6尺3寸所以反應(yīng)不準(zhǔn)確。評級沒有主觀性。你的模型差了一英寸。
o 為了獲得更多的質(zhì)量評級,例如質(zhì)量或以下指導(dǎo),我們需要向評級者說明我們對這些計量的簡明定義意味著什么,以便他們能夠試圖做出量化的判斷。關(guān)鍵是,盡管結(jié)果大多是定性的,但測試人員需要將結(jié)果轉(zhuǎn)化為定量評估。這降低了評級的主觀性。
2.選擇評估方法
在選擇評估度量標(biāo)準(zhǔn)的方法之前,請仔細(xì)考慮每種方法的優(yōu)缺點:
定量評估
這個方法使用基于預(yù)先定義的規(guī)則的自動檢查,客觀地衡量你的膳食計劃員的表現(xiàn)的具體方面,如營養(yǎng)準(zhǔn)確性,遵守飲食限制,成分供應(yīng)和成本。
定性反饋
對于更主觀和微妙的方面,如食譜質(zhì)量,品味吸引力,和整體用戶滿意度,收集豐富的,上下文反饋直接從用戶通過調(diào)查,焦點小組,或一對一訪談。
A/B試驗
A/B測試是數(shù)據(jù)驅(qū)動決策的一種強大技術(shù),它涉及到對不同版本的模型進行比較(例如:,在激勵策略或數(shù)據(jù)來源方面有所不同)或試驗不同的提示。通過衡量您選擇的指標(biāo)的性能,您可以確定哪種方法產(chǎn)生最佳結(jié)果和用戶體驗。
協(xié)助評價
一個有趣的方法是利用另一個LLM的能力來評估你的飲食規(guī)劃LL的輸出。這使你可以利用LLM的先進推理能力,這對于評估膳食計劃的復(fù)雜或主觀方面特別有幫助,例如整體一致性、配方吸引力以及適合用戶的特定飲食需求和偏好。
人的評價
雖然人力資源更密集,但人的判斷力提供了寶貴的見解,特別是在需要專家知識時?？紤]讓營養(yǎng)學(xué)家評估生成的膳食計劃的準(zhǔn)確性和飲食堅持性,或收集經(jīng)驗豐富的廚師對食譜清晰度和實用性的反饋。然而,重要的是要承認(rèn)主觀性的潛力,特別是在評價諸如品味偏好等方面時。
下載文檔
