使用和學(xué)習(xí)人工智能堆棧的lm驅(qū)動(dòng)產(chǎn)品，建立AI膳食計(jì)劃，第2部分，分析數(shù)據(jù)集內(nèi)容

你已經(jīng)閱讀了這個(gè)理論,了解了數(shù)據(jù)的重要性以及所有可以使用的方法。我們準(zhǔn)備好開(kāi)始創(chuàng)建數(shù)據(jù)集了嗎?呃,沒(méi)那么快。我們需要確保我們了解問(wèn)題空間,并使用它來(lái)確定我們甚至需要什么數(shù)據(jù)。

用戶體驗(yàn)

以人為本的設(shè)計(jì) 是一個(gè)原則,它總是從用戶和他們的需要開(kāi)始考慮(而不是技術(shù)、政策或其他外部因素)。這可能是一個(gè)非常令人興奮和有益的活動(dòng),以更好地了解目標(biāo)用戶和如何服務(wù)他們。確保用戶體驗(yàn)預(yù)期是明確的,也可以通過(guò)確保團(tuán)隊(duì)中的每個(gè)人都能適應(yīng)相同的成功定義來(lái)降低建模項(xiàng)目的風(fēng)險(xiǎn)。

在澄清用戶身份時(shí)要問(wèn)的一些問(wèn)題包括:

· 我們需要從用戶那里得到什么信息?

· 提供的信息是開(kāi)放式的還是某種結(jié)構(gòu)化的?

· 模型應(yīng)如何響應(yīng)信息不完整的提示?

· 我們的輸出應(yīng)該是結(jié)構(gòu)化的,還是以散文的形式?

· 我們是否應(yīng)該總是生成輸出,或者有時(shí)要求用戶澄清或提供更多信息?

在我們的案例中,我們將堅(jiān)持開(kāi)放式輸入和結(jié)構(gòu)化輸出,以允許用戶靈活性,同時(shí)保持可預(yù)測(cè)性。我們將避免后續(xù)行動(dòng),以降低我們的概念證明的復(fù)雜性。

現(xiàn)有各種技術(shù)和指南?在別處 幫助建模團(tuán)隊(duì)通過(guò)更好地理解用戶來(lái)制定更好的需求。

實(shí)體關(guān)系圖

ER圖顯示了系統(tǒng)中涉及的所有實(shí)體和關(guān)系,是理解系統(tǒng)、用例等的一個(gè)非常強(qiáng)大的工具。畫一幅用例的圖片,我們可以使用ERDS來(lái)精確了解我們需要捕捉的數(shù)據(jù),同時(shí)確保我們沒(méi)有盲點(diǎn)。

創(chuàng)建ER圖的過(guò)程很簡(jiǎn)單:寫出所有你能想到的與應(yīng)用程序相關(guān)的實(shí)體(名詞)。然后寫出他們之間的關(guān)系,就這樣!實(shí)際上,這是經(jīng)過(guò)幾個(gè)回合完成的,但它創(chuàng)建了一個(gè)豐富的工具,對(duì)理解和交流您的系統(tǒng)都有用。

下面是我們?yōu)槔着灏偷侠L制的急診室圖:

我們的關(guān)系很簡(jiǎn)單,所以?相當(dāng)復(fù)雜的 .

數(shù)據(jù)集屬性

等等!我們還需要對(duì)我們的數(shù)據(jù)集做出更多的決定。下面是一些考慮因素,但您必須深入思考您的用例,以確保您涵蓋了您的數(shù)據(jù)集的所有基礎(chǔ)。

數(shù)據(jù)集類型

在本系列中,我們堅(jiān)持收集和培訓(xùn)SFT數(shù)據(jù),但正如我們之前所述,有許多不同類型的數(shù)據(jù)需要培訓(xùn)。

輸入和輸出屬性

在建模中,需要考慮的輸入變量的數(shù)量和生成輸出的變量數(shù)量是重要的考慮因素,也是衡量用例復(fù)雜性的指標(biāo)。在決定這一點(diǎn)時(shí)應(yīng)該非常謹(jǐn)慎,因?yàn)檫@將影響到你需要包含在數(shù)據(jù)中的多種情況,并影響到你需要收集的數(shù)據(jù)量(這也將影響到所需的計(jì)算,從而影響到訓(xùn)練你的模型的成本)。

在我們的案例中,讓我們使用以下輸入:

· 年齡

· 高度

· 重量

· 活動(dòng)水平

· 飲食限制

· 個(gè)人偏好/目標(biāo)

在輸出量上,讓我們包括多餐的每日膳食計(jì)劃,并為每頓膳食提供具體的指導(dǎo):

· 早餐

· 午餐

· 晚餐

· 小吃1

· 小吃2

每餐:

· 碳水化合物

· 雞/魚/肉

· 乳清蛋白

· 蔬菜

· 油/脂

分布

對(duì)于您正在探索的每個(gè)屬性,您應(yīng)該考慮該屬性的自然多樣性。高度多樣化的屬性比有界限的屬性需要更多的數(shù)據(jù)來(lái)充分覆蓋。例如,考慮創(chuàng)建一個(gè)數(shù)據(jù)集,允許用戶詢問(wèn)周期表中的元素。簡(jiǎn)單:周期表中只有這么多元素?，F(xiàn)在考慮一個(gè)經(jīng)過(guò)訓(xùn)練的LLM,它可以識(shí)別出在提供元素清單時(shí)所有可能的化合物。對(duì)于任何給定的輸入,可能的輸出數(shù)量實(shí)際上是無(wú)限的,這使這項(xiàng)任務(wù)更具挑戰(zhàn)性。

此外,請(qǐng)注意,你的培訓(xùn)數(shù)據(jù)越多樣化,模型就能更好地將概念推廣到培訓(xùn)語(yǔ)料庫(kù)中沒(méi)有的例子。

為了證明我們的概念,我們不會(huì)用盡每個(gè)屬性的分布,而是專注于有限數(shù)量的示例。

邊緣案例

在定義您的需求時(shí),您還可能希望確定您希望避免的特定邊緣情況。

在我們的案例中,讓我們避免在用戶懷孕時(shí)回答任何問(wèn)題,而是引導(dǎo)他們尋求專業(yè)人員的幫助。

我們現(xiàn)在有一個(gè)很好的數(shù)據(jù)收集任務(wù)規(guī)范,除了一件事:我們需要多少數(shù)據(jù)?正如我們前面所描述的,這是由輸入/輸出屬性、這些屬性的分布以及我們想要處理的邊緣情況的數(shù)目所決定的。

一個(gè)快速了解你需要多少價(jià)值的方法是考慮一個(gè)簡(jiǎn)單的公式:

1. 對(duì)于每個(gè)輸入屬性,評(píng)估值可以包含多少"桶"。例如,年齡可能是0-18歲,18-40歲,40-60歲,或者60歲以上4桶。

2. 在你所有的屬性中,把水桶的數(shù)量加起來(lái)。

3. 加上用例的數(shù)量。

這是一種粗略衡量你需要多少數(shù)據(jù)來(lái)完全覆蓋你的用例的方法,也是一個(gè)出發(fā)點(diǎn),可以考慮你要排除哪些數(shù)據(jù),或者你不希望考慮某個(gè)特定屬性的分布。