迭代式精益創(chuàng)業(yè)原則在今天已被充分理解，最低可行產(chǎn)品（MVP）是機(jī)構(gòu)風(fēng)險投資的先決條件，但很少有初創(chuàng)企業(yè)和投資者將這些原則擴(kuò)展到他們的數(shù)據(jù)和AI策略中。他們認(rèn)為，可以在未來的某個時候，用他們以后會招募的人員和技能來驗證自己對數(shù)據(jù)和人工智能的假設(shè)。

但我們所見過的最好的人工智能初創(chuàng)企業(yè)都是盡可能早地發(fā)現(xiàn)，它們是否收集了正確的數(shù)據(jù)，確保它們計劃建立的人工智能模型是否有市場，以及這些數(shù)據(jù)是否得到了恰當(dāng)?shù)氖占?。因此，我們堅信，在您的模型達(dá)到早期客戶所需的最小算法性能（MAP）之前，您必須嘗試驗證您的數(shù)據(jù)和機(jī)器學(xué)習(xí)策略。如果沒有這種驗證（相當(dāng)于迭代軟件beta測試的數(shù)據(jù)），您可能會發(fā)現(xiàn)，花費大量時間和金錢構(gòu)建的模型沒有您希望的那么有價值。

那么如何驗證算法呢？這里有三個關(guān)鍵測試你必須了解：

1. 測試數(shù)據(jù)的預(yù)測性

2. 測試模型市場適合度

3. 測試數(shù)據(jù)和模型的保質(zhì)期

下面，讓我們來依次分析每個測試吧！

測試預(yù)測性

初創(chuàng)公司必須確保為其AI模型提供動力的數(shù)據(jù)能夠預(yù)測，而不僅僅是與AI的目標(biāo)輸出相關(guān)聯(lián)。

由于人體非常復(fù)雜，人工智能驅(qū)動的診斷工具是一種特別容易將相關(guān)信號誤認(rèn)為具有預(yù)測性的信號的應(yīng)用。通過應(yīng)用AI跟蹤每周掃描的細(xì)微變化，我們遇到了許多公司在患者結(jié)果方面取得了令人難以置信的收益。潛在的混雜因素可能是正在進(jìn)行這些每周掃描的患者也更經(jīng)常地記錄他們的生命體征，這也可能提供關(guān)于疾病進(jìn)展的微妙線索。所有這些附加數(shù)據(jù)都用在算法中。人工智能是否可以在這些侵入性較小的生命體征上得到有效的訓(xùn)練，從而降低患者的成本和壓力。

為了從真正的預(yù)測輸入中梳理出混雜的相關(guān)性，您必須盡早進(jìn)行實驗，以便在有和沒有輸入的情況下比較AI模型的性能。在極端情況下，圍繞相關(guān)關(guān)系構(gòu)建的AI系統(tǒng)可能更昂貴，并且可能比圍繞預(yù)測輸入建立的AI系統(tǒng)獲得更低的利潤。此測試還使您能夠確定是否正在收集AI所需的完整數(shù)據(jù)集。

測試模型市場適合度

您應(yīng)該與產(chǎn)品市場契合度分別測試模型市場擬合。一些初創(chuàng)公司可能首先使用用于捕獲培訓(xùn)數(shù)據(jù)的“預(yù)AI”解決方案進(jìn)入市場。即使您可能已經(jīng)建立了適合該AI前產(chǎn)品的產(chǎn)品市場，但您不能假設(shè)該AI前解決方案的用戶也會對AI模型感興趣。模型市場擬合測試的見解將指導(dǎo)您如何打包AI模型并建立合適的團(tuán)隊以將該模型推向市場。

測試模型-市場匹配比測試產(chǎn)品-市場匹配更難，因為用戶界面很容易原型化，但人工智能模型很難模擬。要回答模型-市場匹配問題，您可以使用“幕后人”來模擬AI模型，以評估最終用戶對自動化的響應(yīng)。虛擬調(diào)度助理啟動X.AI，使用這種方法來訓(xùn)練它的調(diào)度程序機(jī)器人，并通過觀察人類訓(xùn)練者進(jìn)行的數(shù)萬次交互來找到合適的交互模式和音調(diào)。這種方法可能不適用于內(nèi)容或數(shù)據(jù)可能包含敏感或受法律保護(hù)的信息的應(yīng)用程序，例如醫(yī)生與其患者或律師與其客戶之間的交互。

為了測試客戶是否愿意為AI模型付費，您可以將數(shù)據(jù)科學(xué)家奉獻(xiàn)給現(xiàn)有客戶的顧問，并為他們提供個性化的，數(shù)據(jù)驅(qū)動的規(guī)范性見解，以展示AI的投資回報率。我們已經(jīng)看到許多初創(chuàng)公司在醫(yī)療保健，供應(yīng)鏈和物流領(lǐng)域提供這項服務(wù)，以說服客戶投入時間和人力來建立與客戶技術(shù)堆棧的集成。

測試數(shù)據(jù)和模型保質(zhì)期

初創(chuàng)公司必須盡早了解他們的數(shù)據(jù)集和模型過時的速度，以便保持適當(dāng)?shù)臄?shù)據(jù)收集和模型更新速率。由于上下文漂移，數(shù)據(jù)和模型變得陳舊，當(dāng)AI模型試圖預(yù)測的目標(biāo)變量隨時間變化時發(fā)生。

上下文信息可以幫助解釋上下文漂移的原因和速率，以及幫助校準(zhǔn)漂移的數(shù)據(jù)集。例如，零售購買可能與季節(jié)有關(guān)。人工智能模型可能會發(fā)現(xiàn)冬季羊毛帽的銷量增加，并且在4月份未能成功推薦給客戶。如果在收集數(shù)據(jù)時沒有記錄，那么關(guān)鍵的上下文信息就無法恢復(fù)。

為了衡量上下文漂移的速度，您可以嘗試“模擬”模型并觀察其在實際設(shè)置中性能下降的速度。您可以使用以下某些策略在不訓(xùn)練數(shù)據(jù)的情況下執(zhí)行此操作：

1. 在適用的情況下，使用已知框架構(gòu)建基于規(guī)則的模型;

2. 重新調(diào)整在強(qiáng)相關(guān)但獨立的域上訓(xùn)練的模型，例如使用書籍推薦模型來推薦電影;

3. 使用機(jī)械特克斯模擬客戶數(shù)據(jù);

4. 與行業(yè)現(xiàn)有企業(yè)合作獲取歷史數(shù)據(jù);

5. 在互聯(lián)網(wǎng)上搜索公開數(shù)據(jù);

如果模擬模型快速降級，AI模型將容易受到上下文漂移的影響。在這種情況下，歷史數(shù)據(jù)可能在過去的某個時間點之后沒有用，因為訓(xùn)練過時數(shù)據(jù)的AI模型將不準(zhǔn)確。

新時代，新劇本

企業(yè)客戶和投資者越來越多地將數(shù)據(jù)和人工智能視為初創(chuàng)公司必要的競爭優(yōu)勢，但人工智能產(chǎn)品仍然需要重量級的開發(fā)流程。與所有業(yè)務(wù)問題一樣，您仍必須盡可能早地驗證您的數(shù)據(jù)和人工智能策略，以避免在無法取得成果的項目上浪費寶貴的時間和資源。這里概述的三個測試提供了一種在構(gòu)建工作模型之前驗證AI模型的方法。 隨著越來越多的初創(chuàng)公司實施它們，這些想法將成為創(chuàng)建精益AI啟動的工具包的一部分，并將改變智能時代風(fēng)險投資的標(biāo)準(zhǔn)。