患有嚴(yán)重運(yùn)動(dòng)障礙的人——比如那些患有ALS、閉鎖綜合征或神經(jīng)退行性疾病的人——由于自主運(yùn)動(dòng)和語(yǔ)言的限制，經(jīng)常難以溝通。雖然像眼球追蹤、肌肉觸發(fā)開(kāi)關(guān)和語(yǔ)音設(shè)備這樣的輔助技術(shù)已經(jīng)存在，但它們往往速度緩慢、不靈活，而且缺乏上下文意識(shí)。

腦機(jī)接口(bci)，如P300拼寫(xiě)器，提供了一種非侵入性的替代方案，但它們?nèi)匀幻媾R著低吞吐量和有限的適應(yīng)性等挑戰(zhàn)。除了基本的信號(hào)檢測(cè)之外，大多數(shù)都沒(méi)有考慮到用戶(hù)的環(huán)境或意圖。

顯然，我們需要一個(gè)更智能、更集成的系統(tǒng)——一個(gè)能夠解釋多種輸入信號(hào)(如腦電圖、眼球運(yùn)動(dòng)或肌肉活動(dòng))并實(shí)時(shí)生成上下文感知、有意義的文本的系統(tǒng)。隨著大型語(yǔ)言模型(llm)的最新進(jìn)展，我們現(xiàn)在有了彌補(bǔ)這一差距的工具。

該項(xiàng)目探索非侵入性腦電圖信號(hào)如何與上下文數(shù)據(jù)和llm相結(jié)合，為更具適應(yīng)性和智能的通信接口提供動(dòng)力。

用腦電圖儀讀取腦電波

我有一個(gè)《星球大戰(zhàn)Force Trainer II》的腦電圖耳機(jī)，但任何與Neurosky ThinkGear兼容的腦電圖耳機(jī)都可以工作。

這款耳機(jī)有三個(gè)電極，一個(gè)在你的額頭上，兩個(gè)在你的耳朵后面。

該設(shè)備輸出5種主要的腦電波頻率，標(biāo)準(zhǔn)化的“注意力”和“冥想”值，以及原始的腦電圖電位讀數(shù)。

眨眼/眼瞼運(yùn)動(dòng)引發(fā)了一個(gè)巨大的電位峰值，被電極捕捉到，正如你在這個(gè)動(dòng)圖中看到的那樣。

通常這是一個(gè)被過(guò)濾掉的偽信號(hào)，但在我們的例子中，這實(shí)際上是我們用來(lái)作為控制信號(hào)的。

Brain-to-Text輸入

使用眨眼檢測(cè)到文本輸入實(shí)際上是相當(dāng)簡(jiǎn)單的，使用拼寫(xiě)板/拼寫(xiě)矩陣。

拼字板是腦機(jī)和輔助通信系統(tǒng)中常用的接口，可以幫助用戶(hù)在沒(méi)有物理輸入的情況下進(jìn)行打字。它通常顯示一個(gè)字符網(wǎng)格(如字母或單詞)，系統(tǒng)突出顯示模式中的行和列。

當(dāng)正確的行或列閃爍時(shí)，用戶(hù)通過(guò)響應(yīng)來(lái)選擇他們想要的字符——通常帶有可檢測(cè)的信號(hào)，如眨眼、眼球運(yùn)動(dòng)或腦電波模式。然后，系統(tǒng)將選定的行和列結(jié)合起來(lái)，以確定預(yù)期的字符。

在這個(gè)項(xiàng)目中，眨眼被用作確認(rèn)選擇的觸發(fā)器，作為用戶(hù)意圖的信號(hào)。

上下文捕獲

盡管我們可以簡(jiǎn)單地使用用戶(hù)輸入的文本來(lái)生成自動(dòng)補(bǔ)全建議，但我們很有可能會(huì)得到不相關(guān)或不正確的補(bǔ)全，這違背了最小化認(rèn)知和體力勞動(dòng)的目的。

然而，通過(guò)捕獲用戶(hù)看到和聽(tīng)到的內(nèi)容，我們可以在生成建議之前使用對(duì)話(huà)和視覺(jué)設(shè)置來(lái)更好地通知LLM。

LLM可以使用周?chē)纳舷挛膩?lái)生成高度相關(guān)的自然語(yǔ)言建議，這大大減少了用戶(hù)傳達(dá)其意圖的努力。

這很簡(jiǎn)單，使用安裝在身體上的相機(jī)定期拍照，并使用麥克風(fēng)捕捉對(duì)話(huà)音頻。

圖像和音頻被發(fā)送到LLM生成描述性文本和對(duì)話(huà)轉(zhuǎn)錄。

作為一個(gè)例子，如果我們?cè)谙聢D中輸入：

法學(xué)碩士可能會(huì)生成以下場(chǎng)景描述：

這是一個(gè)光線(xiàn)充足的理療室，有各種運(yùn)動(dòng)和康復(fù)設(shè)備。一個(gè)雙杠設(shè)置占據(jù)中心，暗示步態(tài)訓(xùn)練。這里有健身球和阻力機(jī)，表明了對(duì)力量和平衡鍛煉的關(guān)注。該設(shè)置意味著一個(gè)面向身體恢復(fù)和治療的醫(yī)療保健環(huán)境。

把它們放在一起

現(xiàn)在我們已經(jīng)實(shí)現(xiàn)了所有的關(guān)鍵部分，我們可以把它們放在一起。

用戶(hù)輸入的文本和環(huán)境上下文一起被提供給LLM， LLM生成高度相關(guān)的建議，以自動(dòng)完成用戶(hù)輸入。

LLM遵循嚴(yán)格的結(jié)構(gòu)化JSON輸出，包含：

建議：基于用戶(hù)輸入和上下文的建議短語(yǔ)/句子

推理：法學(xué)碩士提出建議的推理路線(xiàn)。法學(xué)碩士被提示遵循不同的推理路線(xiàn)，以確保不同的輸出。

Contextual_relevance_score: 1-5之間的自我評(píng)估分?jǐn)?shù)，表明建議與上下文的相關(guān)性

confence_score: 1-5之間的自我評(píng)估分?jǐn)?shù)，表示LLM對(duì)建議代表用戶(hù)意圖的自信程度

另一個(gè)來(lái)自腦電圖耳機(jī)的控制信號(hào)將顯示用戶(hù)選擇的選項(xiàng)，這使得用戶(hù)能夠以最小的輸入有效地傳達(dá)他們的意圖。

總的來(lái)說(shuō)，這個(gè)系統(tǒng)使有嚴(yán)重運(yùn)動(dòng)或語(yǔ)言障礙的人能夠更清楚、更快速、更自然地表達(dá)自己。

本文編譯自hackster.io