在上一節(jié)中,我們收集了人工智能創(chuàng)造的關鍵"成分"--數(shù)據(jù)。這是我們模式的基礎。請記住,配料的質量(您的數(shù)據(jù))直接影響最后一道菜的質量(您的模型的性能)。

現(xiàn)在,我們將把這些數(shù)據(jù)轉換成一個完全運行的數(shù)據(jù)?大語言模型。 到本節(jié)結束時,您將與自己的AI進行互動!

選擇你的底層

在我們投入訓練之前,我們將探索不同的方法來訓練你的語言碩士。這就像為你的面包食譜選擇合適的面粉一樣--它顯著地影響了你最終創(chuàng)造的能力和局限性。

有很多方法可以訓練一個ML模型.這也是一個積極的研究領域,每天都在出現(xiàn)新的方法。讓我們看一看模型開發(fā)方法的主要驗證和真實類別。( 注意事項 :這些方法不一定相互排斥。)

主要方法

1.從頭開始(預先訓練你自己的模型)

這提供了最大的靈活性,但卻是資源最密集的途徑。這里需要大量的數(shù)據(jù)和計算資源,這意味著只有資源最充足的公司才能培訓經過培訓的新型模型。

2.微調(建立在預先培訓的模式基礎上)

這包括從一個強大的,現(xiàn)有的LLM開始,并使其適應我們的具體的飲食規(guī)劃任務。這就像使用預做的面團一樣--你不必從零開始,但是你仍然可以定制它。

3.利用開放源碼模式

探索越來越多的開源模型,通常是關于共同任務的預先培訓,而不需要廣泛的培訓。

4.使用現(xiàn)成的商業(yè)模型

對于準備生產的應用,請考慮商業(yè)LLMS(例如:,來自谷歌,開放,微軟)為優(yōu)化性能,但有潛在的定制限制。

5.云計算服務

使用強大的工具和管理的基礎設施簡化培訓和部署,簡化流程。

選擇正確的方法

你的法律碩士的最佳基礎取決于你的具體需要:

· 時間和資源: 你是否有能力進行預訓練,或者你需要一個更快的解決方案?

· 定制: 你需要多少控制模型的行為?

· 費用: 你的預算是多少?你能投資于商業(yè)解決方案嗎?

· 表現(xiàn): 你需要什么水平的準確性和性能?

· 能力: 您有哪些技術技能和/或計算資源?

向前邁進

在本教程中,我們將側重于對雙子座專業(yè)進行微調,在我們的飲食規(guī)劃模型的努力和功能之間取得平衡。

準備好培訓:導出數(shù)據(jù)集

既然我們已經選擇了基礎層,那就準備好數(shù)據(jù)進行訓練吧。由于我們使用的是谷歌云平臺(GCP),所以我們需要的數(shù)據(jù)是JSONL格式的。

注意事項 :每個模型可能有具體的數(shù)據(jù)格式要求,因此在進行之前總是查閱文件。

幸運的是,將數(shù)據(jù)從谷歌表轉換為json,很簡單Python .

1. 出口到CSV :首先,將您的數(shù)據(jù)從谷歌表中導出為CSV文件。

2. 將CSV轉換為JSONL :運行以下組腳本,替換your_recipes.csv 你的文件名:

import csv

import json

csv_file = 'your_recipes.csv' # Replace 'your_recipes.csv' with your CSV filename

jsonl_file = 'recipes.jsonl'

with open(csv_file, 'r', encoding='utf-8') as infile,

open(jsonl_file, 'w', encoding='utf-8') as outfile:

reader = csv.DictReader(infile)

for row in reader:

row['Prompt'] = row['Prompt'].splitlines()

row['Response'] = row['Response'].splitlines()

json.dump(row, outfile)

這將創(chuàng)造一個 接收器。 文件中的每一行是一個JSON對象,代表一個膳食計劃。

訓練你的模特

我們終于準備好開始訓練我們的LMA了。開始吧!

1.項目設置

1. 谷歌云項目 :如果你還沒有新的谷歌云項目(?提供免費層 ).

2. 啟用API :在控制臺中搜索"頂點人工智能",在頂點人工智能頁面上,點擊 啟用所有推薦的API .

3. 認證 :搜尋"服務帳戶",并在該網頁上,按 創(chuàng)建服務帳戶 .使用演練設置一個服務帳戶,并下載安全訪問所需的憑證。

4. 云存儲桶 找到"云存儲"頁面,創(chuàng)建一個存儲桶。

2.頂點人工智能設置

1. 航行到?頂點人工智能工作室(提供免費層) .

2. 點擊 在控制臺里試一試 在瀏覽器中,你已經登錄到你的谷歌云帳戶。

3. 在左邊的窗格中找到并點擊 語言 .

4. 導航到"調音和蒸餾"標簽:

3.示范培訓

· 點擊 創(chuàng)建調諧模型 .

· 對于這個例子,我們將執(zhí)行一個基本的微調任務,所以選擇"監(jiān)督性的調整"(默認情況下應該選擇)。

· 告訴你的模特名字。

· 選擇一個基本模型:我們將使用雙子座Pro1.0002這個例子。

· 點擊 繼續(xù) .

· 上傳您在步驟2中生成的JSOL文件。

· 您將被要求"數(shù)據(jù)集位置"。"這就是你的JSOL文件將位于云中的位置。您可以使用UI非常容易地創(chuàng)建一個"桶"來存儲這些數(shù)據(jù)。

點擊開始和等待模型被訓練!通過這一步,你現(xiàn)在進入了LLMAAI競技場。您生成的模型的質量僅受您的想象力和您可以為您的用例找到、準備和/或生成的數(shù)據(jù)的質量的限制。

對于我們的用例,我們使用了我們早些時候生成的數(shù)據(jù),其中包括關于個人如何實現(xiàn)其具體健康目標的提示,以及與這些限制相匹配的膳食計劃。

4.測試你的模型

一旦您的模型被訓練,您可以測試它通過導航到它的調子和提取主頁。在這個接口中,您可以和其他聊天機器人一樣與新創(chuàng)建的模型進行交互。