【大咖Live】AI自適應(yīng)教育專場(chǎng)第二期，獨(dú)角獸一起教育科技CTO楊康帶來(lái)了關(guān)于“解碼「AI+教育」在K12領(lǐng)域的落地與實(shí)踐”的主題分享，詳解一起教育科技在AI+教育方面的實(shí)踐經(jīng)驗(yàn)。目前，本期分享音頻及全文實(shí)錄已上線，旗下會(huì)員組織「AI投研邦」會(huì)員可進(jìn)入【AI投研邦】頁(yè)面免費(fèi)查看。

本文對(duì)整場(chǎng)分享進(jìn)行了要點(diǎn)總結(jié)及PPT整理，以幫助大家提前清晰地了解本場(chǎng)分享重點(diǎn)。

1、教育當(dāng)前現(xiàn)狀及面臨的困境是什么？

2、AI+教育可以解決什么？

3、傳統(tǒng)教育教學(xué)如何與當(dāng)前的AI技術(shù)結(jié)合？

4、場(chǎng)景化的AI+教育是怎樣的？

以下為一起教育科技CTO楊康的部分分享內(nèi)容，【AI投研邦】在不改變?cè)獾幕A(chǔ)上做了整理和精編：

大家好，我是一起教育科技CTO楊康，今天分享的話題是“AI+教育”在K12領(lǐng)域的落地與實(shí)踐。

一起教育科技將所有用產(chǎn)品、技術(shù)手段幫助老師學(xué)生更好的完成教學(xué)和科研的過(guò)程定義為AI助教工作，包括課下多學(xué)科作業(yè)批改、課堂輔助教學(xué)、課前教學(xué)設(shè)備以及AI+老師的研發(fā)工作等。

上述探索和應(yīng)用的目的在于，一方面更好解放老師工作，將重復(fù)的機(jī)器擅長(zhǎng)的工作交給機(jī)器，讓老師更好地進(jìn)行教學(xué)工作；同時(shí)，一起教育科技希望學(xué)生能夠更多地完成自主學(xué)習(xí)，希望通過(guò)大數(shù)據(jù)和AI，讓學(xué)生更有針對(duì)性地進(jìn)行學(xué)習(xí)。

在教育領(lǐng)域，一起教育科技的落地實(shí)踐主要包含以下方面：語(yǔ)音識(shí)別&評(píng)測(cè)、圖像識(shí)別&批改、自然語(yǔ)言處理&語(yǔ)義理解屬于感知和語(yǔ)義層面技術(shù)，自適應(yīng)學(xué)習(xí)、AI診斷、智能測(cè)評(píng)更貼近教育場(chǎng)景和數(shù)據(jù)。

一起教育科技通過(guò)語(yǔ)音識(shí)別解決英語(yǔ)口語(yǔ)打分的自動(dòng)評(píng)測(cè)問(wèn)題，通過(guò)圖像識(shí)別技術(shù)解決各個(gè)學(xué)科學(xué)生練習(xí)冊(cè)的自動(dòng)批改；通過(guò)自然語(yǔ)言技術(shù)解決作文批改問(wèn)題；通過(guò)自適應(yīng)學(xué)習(xí)技術(shù)，解決學(xué)生個(gè)性化練習(xí)需求；同時(shí)，將大數(shù)據(jù)和AI結(jié)合，解決學(xué)生做錯(cuò)題后的錯(cuò)因分析和診斷問(wèn)題；以及目前正在進(jìn)行的與學(xué)科能力測(cè)評(píng)相關(guān)的智能評(píng)測(cè)技術(shù)。

語(yǔ)音評(píng)測(cè)

楊康提到，語(yǔ)音評(píng)測(cè)在教育領(lǐng)域的應(yīng)用包括兩點(diǎn)：

一是進(jìn)行口語(yǔ)朗讀的語(yǔ)音評(píng)測(cè)?？谡Z(yǔ)朗讀即學(xué)生根據(jù)一段文本英語(yǔ)內(nèi)容進(jìn)行跟讀，在發(fā)音過(guò)程中，音頻將通過(guò)設(shè)備端傳送至后臺(tái)服務(wù)器，一起教育科技后臺(tái)進(jìn)行相應(yīng)的口語(yǔ)打分，該過(guò)程主要評(píng)估學(xué)生語(yǔ)音的完整度、流利度。同時(shí)，在流利度本身中也會(huì)遇到一些細(xì)節(jié)性問(wèn)題，比如流利英語(yǔ)發(fā)音（即考察韻律、重音、語(yǔ)速等細(xì)節(jié)）。

二是半開(kāi)放口語(yǔ)。半開(kāi)放口語(yǔ)相對(duì)跟讀英語(yǔ)口語(yǔ)評(píng)測(cè)，前者多出的是語(yǔ)義的相似度判斷和語(yǔ)義匹配過(guò)程。半開(kāi)放口語(yǔ)面對(duì)的問(wèn)題是，給出一段文本和相應(yīng)的問(wèn)題，學(xué)生需根據(jù)文本的理解對(duì)問(wèn)題進(jìn)行語(yǔ)音回答。在語(yǔ)音回答過(guò)程中，用戶答案并不唯一，后臺(tái)并不能完全按照發(fā)音角度評(píng)估用戶打分，還需參考用戶回答問(wèn)題的內(nèi)容本身是否有錯(cuò)、內(nèi)容本身是否完整、是否回答題干相應(yīng)的關(guān)鍵詞或答案等等。 我們稱之為半開(kāi)放口語(yǔ)的評(píng)測(cè)技術(shù)。事實(shí)上，這是語(yǔ)音打分技術(shù)+自然語(yǔ)言處理技術(shù)合成的綜合性技術(shù)解決方案。

語(yǔ)音評(píng)測(cè)算法同語(yǔ)音識(shí)別過(guò)程不同，因其面對(duì)問(wèn)題更加確定，所以一起教育科技將相應(yīng)的準(zhǔn)確答案做成狀態(tài)機(jī)，并稱之為FST。該狀態(tài)機(jī)中可能包含了相應(yīng)回答的文本。在完成聲學(xué)模型后，一起教育科技將狀態(tài)機(jī)同聲學(xué)模型結(jié)合，進(jìn)行解碼，完成匹配，并在匹配搜索的過(guò)程中進(jìn)行打分。

在一起教育科技看來(lái)，如果整體分差是零，或者整體分差是0-1，則效果相對(duì)較好。

上圖可以看到各家的引擎，一起教育科技與其他第三方引擎進(jìn)行評(píng)測(cè)。在小學(xué)英語(yǔ)的口語(yǔ)場(chǎng)景中，一起教育科技引擎效果良好。大部分的深紅色柱子逼近零區(qū)間。

如何進(jìn)行相應(yīng)的半開(kāi)放口語(yǔ)評(píng)測(cè)？一起教育科技分為三個(gè)環(huán)節(jié)：

語(yǔ)義分割：一起教育科技將一句話或一個(gè)段落劃分成不同的短語(yǔ)，短語(yǔ)中包含一些關(guān)鍵信息，利用短語(yǔ)和答案進(jìn)行匹配，即短語(yǔ)和短語(yǔ)之間的匹配。

同時(shí)，因?yàn)樵谒兄行W(xué)教學(xué)過(guò)程中，人名或代詞使用較多。所以在此類型問(wèn)題中，一起教育科技利用指代消歧技術(shù)將一些單詞（例如my 、this）與原文中的名詞或人名、物體名進(jìn)行對(duì)應(yīng)，此處應(yīng)用了指代消歧與實(shí)體關(guān)系修正的技術(shù)。

除指代消歧以外，一起教育科技進(jìn)行語(yǔ)義相似度的判斷。針對(duì)一句話，用戶的描述可能不同：比如doing sports和doing exercise 是一個(gè)意思。同義詞的判斷和語(yǔ)音相似度判斷可以用傳統(tǒng)的自然語(yǔ)言處理技術(shù)來(lái)實(shí)現(xiàn)。楊康表示，如果有更多樣本，可以使用深度學(xué)習(xí)的方法來(lái)進(jìn)行。

整體來(lái)看，語(yǔ)音技術(shù)在目前K12領(lǐng)域偏向于監(jiān)督式學(xué)習(xí)場(chǎng)景，如果有大量的用戶語(yǔ)料在小學(xué)、中學(xué)里面（包括發(fā)音、跟讀、開(kāi)放口語(yǔ)等回答）。這些語(yǔ)料進(jìn)行標(biāo)注訓(xùn)練，可很好的提升本身語(yǔ)音技術(shù)的識(shí)別效果。

圖像識(shí)別

圖像識(shí)別技術(shù)在教育領(lǐng)域的應(yīng)用較廣，主要是感知層面上的智能應(yīng)用。如何識(shí)別相對(duì)復(fù)雜的數(shù)學(xué)符號(hào)，一起教育科技提出了一個(gè)基于 Attention 的識(shí)別模型。Attention在2017比較火，實(shí)際上Attention在圖像處理于在2014/2015年已有應(yīng)用。

為什么選用 Attention 作為拍照、批改場(chǎng)景的識(shí)別？因?yàn)镃RNN技術(shù)更偏向于對(duì)行進(jìn)行掃描識(shí)別。

一起教育科技通過(guò)不同行即空間輸入，對(duì)整體進(jìn)行計(jì)算，同時(shí)用LSTM將序列模型能力發(fā)揮出來(lái)。一起教育是基于O2O批改的算法架構(gòu)，O2O的意思是將紙質(zhì)教輔、練習(xí)冊(cè)數(shù)字化還原至線上，這是一起教育定義的O2O。

基于O2O批改算法架構(gòu)中，底層是大量數(shù)據(jù)標(biāo)注，包括好的標(biāo)注平臺(tái)、好的標(biāo)注團(tuán)隊(duì)（或外包、或公司團(tuán)隊(duì)），好的數(shù)據(jù)管理。因?yàn)獒槍?duì)性的標(biāo)注和訓(xùn)練和線上的使用反饋貫穿，線上效果不好的之處，我們通過(guò)邊角案例的挖掘，通過(guò)數(shù)據(jù)管理把它拎出來(lái)，讓標(biāo)注團(tuán)隊(duì)相應(yīng)的進(jìn)行標(biāo)注，從而進(jìn)行相應(yīng)的訓(xùn)練，重新訓(xùn)練效果即可得到提升。

上一層是圖像識(shí)別基礎(chǔ)模型和已上線效果，包括手寫識(shí)別、印刷體識(shí)別、公式識(shí)別、圖形檢測(cè)、圖形軌跡識(shí)別。再向上，一起教育科技做的是教輔批改和練習(xí)冊(cè)批改，除圖像識(shí)別能還原文字外，還需要考慮如何更好地批改。批改的過(guò)程是將文本轉(zhuǎn)化成數(shù)學(xué)的模型。

Socrates 智能學(xué)習(xí)系統(tǒng)

智能教學(xué)系統(tǒng)由一起教育科技自研，解決以下問(wèn)題：孩子做錯(cuò)題后，能夠通過(guò)一系列的自主完成的手段做對(duì)這道題。同時(shí)，孩子不是因?yàn)榭吹侥炒鸢富蛘咧皇峭ㄟ^(guò)這道題記住答案而學(xué)會(huì)的，而是通過(guò)一些干預(yù)，通過(guò)講解將把自己的錯(cuò)誤原因回溯而學(xué)會(huì)。

一起教育科技將這套系統(tǒng)智能教學(xué)系統(tǒng)分成幾個(gè)模塊，實(shí)現(xiàn)了診斷干預(yù)、再次講解，幫助孩子學(xué)會(huì)這個(gè)過(guò)程。一起教育科技也在線上進(jìn)行實(shí)驗(yàn)評(píng)估這套系統(tǒng)是否有效，稱之為后測(cè)率指標(biāo)。后測(cè)率是孩子做錯(cuò)一道題，給予相應(yīng)的干預(yù)、講解。未來(lái)，孩子可能在做類似錯(cuò)題了后，我們看他做錯(cuò)的比例是多少，故稱之為后測(cè)率。

使用這套系統(tǒng)后孩子的后測(cè)率對(duì)比原來(lái)未使用這套系統(tǒng)，一起教育科技進(jìn)行了實(shí)驗(yàn)班和實(shí)驗(yàn)分組。結(jié)果所示學(xué)習(xí)效果提升了很多。

學(xué)科能力量尺搭建

學(xué)科能力量尺搭建，一起教育科技也稱之為智能評(píng)測(cè)技術(shù)。該技術(shù)相對(duì)傳統(tǒng)，國(guó)內(nèi)外例如我國(guó)各省的教研專家委員會(huì)上，一些學(xué)科能力量尺在數(shù)學(xué)/語(yǔ)文/英語(yǔ)上都有相應(yīng)模型。其主要用于評(píng)估一個(gè)區(qū)域/一個(gè)學(xué)校/一個(gè)班級(jí)的教學(xué)效果。我們能夠形象的聯(lián)想到，班級(jí)學(xué)習(xí)效果是按考分進(jìn)行評(píng)估。

實(shí)際上，分?jǐn)?shù)是一個(gè)籠統(tǒng)概念，如何對(duì)應(yīng)到每個(gè)孩子的能力，如何對(duì)應(yīng)到班級(jí)整體能力，需要學(xué)科能力量尺進(jìn)行度量，用多個(gè)維度判斷孩子認(rèn)知、模型和相應(yīng)教學(xué)目標(biāo)是否達(dá)到？

以數(shù)學(xué)為例，一起教育科技覆蓋了七個(gè)常見(jiàn)教材版本，并在去年上線了一期項(xiàng)目，幫助公立學(xué)校完成其評(píng)估過(guò)程。學(xué)科能力評(píng)測(cè)目標(biāo)要有兩個(gè)：一是為區(qū)域教員（比如教育局委員會(huì)）提供教學(xué)質(zhì)量的監(jiān)督，同時(shí)微觀指導(dǎo)班級(jí)，甚至指導(dǎo)個(gè)人進(jìn)行學(xué)科能力評(píng)估，為班級(jí)/家長(zhǎng)/老師輸出學(xué)生的學(xué)科能力的強(qiáng)項(xiàng)、弱項(xiàng)，指導(dǎo)日常工作。 學(xué)科能力量尺目前的覆蓋范圍大概有270萬(wàn)學(xué)生，去年覆蓋7萬(wàn)多個(gè)班級(jí)。

會(huì)員問(wèn)答

為更深入的解決聽(tīng)眾在AI+教育方面的困惑，「Live」在分享結(jié)束后開(kāi)設(shè)問(wèn)答環(huán)節(jié)，楊康對(duì)旗下會(huì)員組織「AI投研邦」會(huì)員疑問(wèn)進(jìn)行了一一解答。

問(wèn)題一、某AI教育公司從業(yè)者：請(qǐng)問(wèn)數(shù)學(xué)作業(yè)中的應(yīng)用題，目前可以實(shí)現(xiàn)自動(dòng)批改嗎？

一定程度上是能的。一起教育科技在今年也將發(fā)布相應(yīng)技術(shù)。數(shù)學(xué)階段的應(yīng)用題批改，因其耗時(shí)較長(zhǎng)，老師批改的時(shí)長(zhǎng)也較大。一起教育科技認(rèn)為第一步是答案抽取，即答案在哪個(gè)區(qū)域？（比如用戶的答案可能是一個(gè)確定的數(shù)字+一個(gè)單位，答案在哪個(gè)區(qū)域需要識(shí)別出來(lái)）；同時(shí)，一起教育科技也希望做到過(guò)程級(jí)批改，不只是一個(gè)答案，對(duì)學(xué)生在前面的三/五個(gè)過(guò)程中的回答點(diǎn)是否正確，是否按照思考路徑來(lái)進(jìn)行預(yù)期回答，一起教育也會(huì)進(jìn)行相應(yīng)處理。

問(wèn)題二、AI+教育領(lǐng)域?qū)W生：請(qǐng)問(wèn)在技術(shù)落地的過(guò)程中，有沒(méi)有遇到什么瓶頸？這些問(wèn)題是如何解決的？

比如，一起教育科技在早期自動(dòng)批改技術(shù)上線時(shí)，內(nèi)部評(píng)測(cè)效果較好；但實(shí)際第一次冷啟動(dòng)上線時(shí)，你會(huì)看到線上效果比預(yù)期效果下降十個(gè)百分點(diǎn)甚至更多。

這個(gè)問(wèn)題的瓶頸在哪里？主要是在樣本。線下測(cè)試集實(shí)驗(yàn)時(shí)，訓(xùn)練樣本相對(duì)少，所以一起教育科技鼓勵(lì)在AI研發(fā)階段分成兩個(gè)階段：一是冷啟動(dòng)階段，盡可能用能夠收集到的數(shù)據(jù)提高數(shù)據(jù)樣本的標(biāo)注準(zhǔn)確率，然后準(zhǔn)確度達(dá)到一個(gè)基礎(chǔ)分（基礎(chǔ)分不會(huì)太高，冷啟動(dòng)一般來(lái)說(shuō)較難）。

第二階段是線上放量，即實(shí)驗(yàn)或正式生產(chǎn)階段。該階段可以看到各種各樣的樣本，原來(lái)的模型、原來(lái)的方法在這些樣本上工作效果的可能并不好，但一定要有很好的邊角案例管理意識(shí)和邊角案例跟蹤意識(shí)，將處理不好的問(wèn)題單獨(dú)挑出，把樣本進(jìn)行針對(duì)性標(biāo)注。如此得到很好的提升。

問(wèn)題三、某AI教育公司從業(yè)者：AI+教育，在推向K12學(xué)校時(shí)，面臨最大的問(wèn)題是什么，我們是怎么應(yīng)對(duì)的？

一起教育科技已經(jīng)成立八年多，面對(duì)的問(wèn)題多種多樣。 舉例來(lái)說(shuō)，一起教育科技覆蓋的學(xué)校不只是信息化程度很好的北京、上海，也有信息化程度較差的城鎮(zhèn)鄉(xiāng)村小學(xué)，在這些小學(xué)中，一起教育科技花費(fèi)了很多精力思考如何賦能信息化教學(xué)程度較差的一些地區(qū)。但我們欣喜的發(fā)現(xiàn)，即使在鄉(xiāng)村小學(xué)，每個(gè)孩子的家庭中也有一部手機(jī)，通過(guò)手機(jī)上網(wǎng)進(jìn)行口語(yǔ)打分、作業(yè)批改，可以讓老師跟蹤其學(xué)習(xí)情況，家長(zhǎng)跟蹤學(xué)情。

所以，一起教育科技認(rèn)為移動(dòng)互聯(lián)網(wǎng)帶來(lái)相對(duì)公平的教學(xué)機(jī)會(huì)，無(wú)需通過(guò)一個(gè)很大的多媒體教室才能完成口語(yǔ)教學(xué)過(guò)程。一起教育科技積極應(yīng)對(duì)此事，同時(shí)也希望未來(lái)將更多的線下作業(yè)場(chǎng)景搬到線上。因?yàn)楹⒆釉谏险n過(guò)程中，如果能引用相應(yīng)的作業(yè)大數(shù)據(jù)，可以看到“我的班級(jí)”、“我的年級(jí)”及全市區(qū)域的錯(cuò)題分布。這樣即可幫助老師針對(duì)性的指導(dǎo)孩子。