導(dǎo)讀 蘇喻博士，高級(jí)工程師，合肥人工智能研究院副研究員，原科大訊飛AI 教育研究院副院長(zhǎng)，中國(guó)科學(xué)技術(shù)大學(xué)博士后，安徽省青少年信息學(xué)教育專委會(huì)秘書長(zhǎng)，CCF 大專委-通訊委員，合肥市 D 類人才。蘇喻博士一直在智慧教育方向深耕，聚焦于青少年編程。面對(duì)數(shù)據(jù)稀疏和學(xué)習(xí)效果延時(shí)性問題，蘇喻博士團(tuán)隊(duì)在教育領(lǐng)域大模型的研發(fā)中，技術(shù)上有如下三個(gè)方面的亮點(diǎn)：1）通過對(duì)偶數(shù)據(jù)的模型訓(xùn)練與評(píng)估和歷史經(jīng)驗(yàn)注入實(shí)現(xiàn)青少年編程垂類大語(yǔ)言模型；2）基于分層知識(shí)圖譜和推理 prompt 生成實(shí)現(xiàn)基于小知識(shí)的大模型學(xué)習(xí)；3）融合知識(shí)追蹤模型和大模型仿真的強(qiáng)化認(rèn)知推薦。產(chǎn)品應(yīng)用上，蘇喻博士團(tuán)隊(duì)開發(fā)了青蛙編程平臺(tái)、AI 編程學(xué)習(xí)機(jī)以及數(shù)字人 AI 錄播課平臺(tái)等。

本次的分享會(huì)圍繞下面五方面展開：

1. 智慧教育背景及挑戰(zhàn)

2. 教育領(lǐng)域大模型

3. 產(chǎn)品案例

4. 思考與展望

5. 問答環(huán)節(jié)

分享嘉賓｜蘇喻博士 合肥人工智能研究院 副研究員

編輯整理｜王帥 金山云

內(nèi)容校對(duì)｜李瑤

出品社區(qū)｜DataFun

01

背景及挑戰(zhàn)

1. 背景

蘇喻博士，2011 年 7 月至 2022 年 2 月就職于科大訊飛研究院，歷任科大訊飛 AI 教育研究院副院長(zhǎng)，AI 研究院認(rèn)知群教育條線負(fù)責(zé)人，學(xué)習(xí)機(jī)業(yè)務(wù)線教研總監(jiān)，重點(diǎn)負(fù)責(zé)教育領(lǐng)域個(gè)性化學(xué)習(xí)業(yè)務(wù)，包括個(gè)性化學(xué)習(xí)相關(guān)模型研究，產(chǎn)品設(shè)計(jì)，服務(wù)研發(fā)等，其研發(fā)的多項(xiàng)成果已經(jīng)成功應(yīng)用到訊飛智學(xué)網(wǎng)、訊飛智能學(xué)習(xí)機(jī)等相關(guān)產(chǎn)品中，于 2018 年獲得訊飛首屆華夏創(chuàng)新獎(jiǎng)，獲 2020 年吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)科技進(jìn)步一等獎(jiǎng)。先后參與多項(xiàng)安徽省、部級(jí)等層面的重大項(xiàng)目科研工作，如國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、科技部重大專項(xiàng)等。其間獲得多項(xiàng)發(fā)明專利，并在 AAAI、KDD、IJCAI 等國(guó)際知名學(xué)術(shù)會(huì)議與期刊發(fā)表文章近 30 篇，其中 CCF 推薦會(huì)議論文 A 類文章 7 篇，中文核心期刊論文 5 篇，SCI 檢索英文期刊論文 10 篇。

（1）個(gè)性化學(xué)習(xí)

幾千年前，孔子提出因材施教的觀點(diǎn)，但受限于校內(nèi)大班教學(xué)現(xiàn)狀，傳統(tǒng)教學(xué)方案無法滿足學(xué)生的個(gè)性化需求。

目前市場(chǎng)上的個(gè)性化教育產(chǎn)品呈現(xiàn)井噴的態(tài)勢(shì)，如科大訊飛的學(xué)習(xí)機(jī)、騰訊課堂、松鼠 AI（原易學(xué)）等，通過信息化及人工智能方法對(duì)學(xué)生能力進(jìn)行診斷，并給出推薦。

（2）科大訊飛產(chǎn)品

科大訊飛學(xué)習(xí)機(jī)，自 2019 年開始發(fā)力至今成為頭部，主要提供給學(xué)生自主性、個(gè)性化的學(xué)習(xí)方案，節(jié)省學(xué)生時(shí)間，提高學(xué)生的學(xué)習(xí)興趣。平臺(tái)和教師通過學(xué)生在平板上的學(xué)習(xí)，分析學(xué)生的做題情況和能力水平，提供給學(xué)生一個(gè)個(gè)性化的知識(shí)圖譜，學(xué)生可依據(jù)該圖譜對(duì)薄弱知識(shí)點(diǎn)進(jìn)行自主強(qiáng)化學(xué)習(xí)。同時(shí)，學(xué)習(xí)進(jìn)展可視化，使學(xué)生可以了解每天的進(jìn)步情況，提升學(xué)習(xí)興趣。

百度、作業(yè)幫等工具，針對(duì)考試錯(cuò)題，通過拍搜即可得到正確答案，這樣容易導(dǎo)致學(xué)生抄答案不再深入思考。而科大訊飛的個(gè)性化學(xué)習(xí)手冊(cè)是基于考試情況和錯(cuò)題，給每個(gè)學(xué)生推薦個(gè)性化的題目（無答案），同學(xué)間無法互相抄。此外，科大訊飛的產(chǎn)品對(duì)于試題有較好的表征，同時(shí)錯(cuò)題推薦更具科學(xué)性。

①試題表征

多模態(tài)資源理解，將包括文本、立體幾何圖像、音頻等在內(nèi)的試題獨(dú)立編碼到各自多模態(tài)的空間中。然后進(jìn)行多模態(tài)的語(yǔ)義對(duì)齊、self attention、Multi task 等工作。一道題的知識(shí)點(diǎn)、考點(diǎn)、難度作為其標(biāo)簽，這些信息全部映射為空間中的一個(gè)向量。傳統(tǒng)試題打標(biāo)簽需要人工完成，一方面人工費(fèi)高，另一方面主觀性強(qiáng)，一致率低。通過機(jī)器打標(biāo)簽可以提高準(zhǔn)確率。

②錯(cuò)題推薦

根據(jù)學(xué)生做的一道錯(cuò)題，通過一些相關(guān)的內(nèi)容和語(yǔ)義推薦類似的題目，一方面在雙減的情況下，學(xué)生更容易掌握錯(cuò)題相關(guān)的知識(shí)點(diǎn)；另一方面，教師可以針對(duì)上課中學(xué)生做錯(cuò)的例題，搜集到相似題目作為學(xué)生的課堂作業(yè)，提升備課效率。

③錯(cuò)題難度-最近發(fā)展區(qū)理論

基于教育心理學(xué)中的最近發(fā)展區(qū)理論，推薦簡(jiǎn)單的內(nèi)容，學(xué)生覺得無趣、浪費(fèi)時(shí)間；推薦太難的內(nèi)容，會(huì)使學(xué)生喪失信心。因此推薦題目的難度非常關(guān)鍵，應(yīng)是稍高于學(xué)生當(dāng)前水平，可通過一定時(shí)間學(xué)習(xí)達(dá)到目標(biāo)，感受到成就感，這樣才可以提升其學(xué)習(xí)興趣。

④實(shí)現(xiàn)方法-同分異構(gòu)學(xué)生錯(cuò)題

實(shí)現(xiàn)的方法是收集所有學(xué)生的答題記錄（百萬(wàn)級(jí)別，當(dāng)前到億級(jí)），放于教育認(rèn)證診斷模型中，將學(xué)生的信息映射到一個(gè)空間里，通過尋找目標(biāo)學(xué)生的同分異構(gòu)學(xué)生（水平類似，知識(shí)結(jié)構(gòu)有較小的差距），將同分異構(gòu)學(xué)生的錯(cuò)題推薦給目標(biāo)學(xué)生。這是基于假定——該類錯(cuò)題對(duì)于目標(biāo)學(xué)生更容易學(xué)會(huì)。

⑤解釋性及可視化-知識(shí)圖譜

針對(duì) C 端場(chǎng)景對(duì)于解釋性的需求，通過大量的學(xué)生數(shù)據(jù)，基于多模態(tài)的編碼，將學(xué)生的能力映射到一個(gè)知識(shí)圖譜上，為學(xué)生提供個(gè)性化的學(xué)習(xí)路徑，提升其學(xué)習(xí)效率和學(xué)習(xí)積極性。

• 圖譜的每一個(gè)節(jié)點(diǎn)代表知識(shí)點(diǎn)或知識(shí)點(diǎn)的組合
• 邊表征了知識(shí)點(diǎn)的前后繼承關(guān)系
• 顏色代表學(xué)習(xí)程度，如綠色代表學(xué)得好，紅色代表學(xué)得差，黃色代表學(xué)得一般。

學(xué)生基于該圖譜，可進(jìn)行一系列操作，如針對(duì)紅色的知識(shí)點(diǎn)，點(diǎn)擊后會(huì)出現(xiàn)一條設(shè)計(jì)好的學(xué)習(xí)路徑。

（3）青少年編程

素質(zhì)教育-編程領(lǐng)域，學(xué)生對(duì)個(gè)性化學(xué)習(xí)的需求更多，難度更大。除了中小學(xué)生外，高校學(xué)生在上編程實(shí)驗(yàn)課時(shí)，也會(huì)遇到各種問題，老師也會(huì)遇到無法針對(duì)每個(gè)學(xué)生的問題一一解答的困境。青少年編程課程，無論是公立校還是教培，即使小班也會(huì)是 1 對(duì) 6，每個(gè)學(xué)生在每分鐘都會(huì)有其個(gè)性化的問題（如調(diào)不通）等待老師回答。公立校中，老師會(huì)嘗試性將大部分同學(xué)搞不定的問題的標(biāo)準(zhǔn)答案放于屏幕上，私立校會(huì)基于學(xué)費(fèi)和學(xué)時(shí)，重點(diǎn)支持解決問題，但仍難以滿足個(gè)性化學(xué)習(xí)的需求。

①OJ 試題

此外，編程教育中會(huì)采用 OJ 試題，與傳統(tǒng)教育試題不同，會(huì)對(duì)題目有要求，OJ 試題的題面要求包含題目描述，規(guī)定了輸入輸出規(guī)范。一個(gè) OJ 試題包含多組用例，一個(gè)代碼用例由一個(gè)輸入和一個(gè)輸出組成，測(cè)試學(xué)生所寫的代碼是否符合預(yù)期。

②個(gè)性化編程平臺(tái)

個(gè)性化編程平臺(tái)包含代碼修復(fù)、代碼提示、輔學(xué)指引三部分。

• 代碼修復(fù)

學(xué)生寫完代碼后，基于大模型的認(rèn)知診斷，對(duì)代碼進(jìn)行修復(fù)，根據(jù)學(xué)生當(dāng)前的水平，給出代碼提示和步驟。

• 代碼提示

基于研發(fā)的底層編譯器，為用戶提供了中文 debug 界面，此外還會(huì)針對(duì)學(xué)生的基礎(chǔ)語(yǔ)法等彈出相應(yīng)的知識(shí)卡片。這樣可以解決用戶 80% 到 90% 的個(gè)性化問題。

• 輔學(xué)指引

基于上述代碼提示，教師只需解決 10% 的共性難點(diǎn)問題，有助于將編程學(xué)習(xí)順暢地進(jìn)行下去，提升學(xué)生的編程積極性。

2. 挑戰(zhàn)

（1）數(shù)據(jù)稀疏

當(dāng)前大數(shù)據(jù)的量很大，但數(shù)據(jù)稀疏。如平臺(tái)雖然存在海量的學(xué)生編程數(shù)據(jù)、答題數(shù)據(jù)，但對(duì)于某一個(gè)學(xué)生的記錄是有限的。如何根據(jù)學(xué)生在平臺(tái)做的幾道編程題，對(duì)其進(jìn)行很好的診斷，是一大挑戰(zhàn)。同樣，數(shù)據(jù)稀疏的挑戰(zhàn)也存在于其他領(lǐng)域，如醫(yī)療大模型，企業(yè)可獲得很多病人的案例，但平臺(tái)上某一個(gè)人的病例，可能只有一兩例。

（2）學(xué)習(xí)延時(shí)性

針對(duì)學(xué)生的推薦，是否使其學(xué)習(xí)能力提升，能否通過編程等級(jí)考試，是無法即刻體現(xiàn)的。學(xué)習(xí)型的問題，其推薦的收益不易監(jiān)控，學(xué)習(xí)效果會(huì)延后體現(xiàn)（可能很多天，甚至半年）。

純 C 端的廣告推薦，相對(duì)更容易體現(xiàn)效果，推薦內(nèi)容后，是否點(diǎn)擊、購(gòu)買等都可以通過打點(diǎn)獲取到效果信息。

02

教育領(lǐng)域大模型

應(yīng)用大語(yǔ)言模型去輔助青少年編程，一方面依賴大語(yǔ)言模型的 NLG（Natural Language Generation）能力，可對(duì)提示做出連貫且符合上下文的文本回應(yīng)，另一方面憑借大模型的 Zero-shot 或 Few-shot 的學(xué)習(xí)能力，可以幫助理解新任務(wù)，并在最小提示和樣本下達(dá)到有利結(jié)果。此外，大語(yǔ)言模型也展現(xiàn)了強(qiáng)大的跨領(lǐng)域泛化能力。

針對(duì)數(shù)據(jù)稀疏或者個(gè)人真實(shí)數(shù)據(jù)較少的現(xiàn)狀，如何實(shí)現(xiàn) Zero-shot 能力？是否可以基于其他領(lǐng)域的知識(shí)，通過大模型實(shí)現(xiàn)泛化學(xué)習(xí)？團(tuán)隊(duì)就此開展了以下幾個(gè)工作：一是青少年編程垂類大語(yǔ)言模型，二是基于小知識(shí)的大模型學(xué)習(xí)，三是基于大模型的仿真強(qiáng)化認(rèn)知推薦。

垂類大語(yǔ)言模型和小知識(shí)大模型主要解決數(shù)據(jù)稀疏性的挑戰(zhàn)，基于大模型的仿真強(qiáng)化認(rèn)知推薦解決收益閉環(huán)太長(zhǎng)的問題。

1. 編程垂類大語(yǔ)言模型

編程垂類大模型構(gòu)建流程主要包括數(shù)據(jù)獲取、模型訓(xùn)練和知識(shí)注入三個(gè)步驟。

（1）數(shù)據(jù)獲取

通過對(duì)成熟優(yōu)秀的 LLM 提問，讓其模仿孩子給出錯(cuò)誤代碼。在編程領(lǐng)域這種做法的一大問題是，得到的回答可能經(jīng)常是一些簡(jiǎn)單的語(yǔ)法錯(cuò)誤，比如缺少一半括號(hào)，這對(duì)于編程領(lǐng)域大模型是沒有幫助的。

因此，我們構(gòu)建了生成數(shù)據(jù)鑒別器，來區(qū)分生成的數(shù)據(jù)和真實(shí)的數(shù)據(jù)。

同時(shí)，我們也通過 Prompt 生成器，來自動(dòng)生成更為真實(shí)的指令。

最終，基于這樣兩個(gè)模型的對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤代碼生成，使得生成數(shù)據(jù)的分布與真實(shí)數(shù)據(jù)非常接近。

（2）模型訓(xùn)練（Fine Tuning）

在開源大模型 LLaMA 基礎(chǔ)上，通過 Lora 微調(diào)生成代碼相關(guān)的垂類大模型，實(shí)現(xiàn)輸入錯(cuò)誤代碼，生成正確代碼。然而有時(shí)錯(cuò)誤代碼修正后，雖與標(biāo)準(zhǔn)答案很像，但仍存在一些邏輯上的錯(cuò)誤，無法通過測(cè)試用例。

因此提供了測(cè)試評(píng)估的接口，對(duì)答案進(jìn)行評(píng)分。整個(gè)微調(diào)有兩個(gè)監(jiān)督信號(hào)，本質(zhì)上有兩個(gè) loss，首先要求修復(fù)的代碼與標(biāo)準(zhǔn)答案很像，第二要通過測(cè)試用例，通過得越多，評(píng)分越高。這一工作，我們稱之為對(duì)偶數(shù)據(jù)，因?yàn)闃?biāo)準(zhǔn)答案和測(cè)試用例在本質(zhì)上是對(duì)同一事物的兩種描述。

（3）基于歷史經(jīng)驗(yàn)的知識(shí)注入

由于原始數(shù)據(jù)量不同，通過歷史經(jīng)驗(yàn)，將成功修復(fù)案例持續(xù)注入本地嵌入向量庫(kù)中，通過提示相似錯(cuò)誤解決的歷史經(jīng)驗(yàn)，提高模型修復(fù)的準(zhǔn)確率。

• 高質(zhì)量數(shù)據(jù)積累：現(xiàn)實(shí)中學(xué)生寫出的錯(cuò)誤代碼，基于報(bào)錯(cuò)信息修正后得到正確答案，這一系列真實(shí)數(shù)據(jù)作為歷史經(jīng)驗(yàn)持續(xù)注入知識(shí)庫(kù)中；
• 嵌入向量庫(kù)：將上述數(shù)據(jù)放入編程垂類大模型中，把大模型作為編碼器，將其轉(zhuǎn)為向量存放于一個(gè)嵌入向量庫(kù)中；
• 輸入信息增強(qiáng)：通過在線編譯器，將新的學(xué)生寫出的錯(cuò)誤代碼生成報(bào)錯(cuò)信息；
• 篩選排序，找到協(xié)同數(shù)據(jù)：在編碼后的知識(shí)庫(kù)當(dāng)中檢索與新學(xué)生的嵌入向量（原始問題）類似的問題，生成一個(gè)極為復(fù)雜的 prompt；
• 請(qǐng)求修復(fù)：將上述包含相似錯(cuò)誤解決歷史經(jīng)驗(yàn)的 prompt 輸入到大語(yǔ)言模型中，請(qǐng)求修復(fù)，提高修復(fù)的準(zhǔn)確率。

如上圖測(cè)試了四個(gè)大模型—GPT3.5、LLAMA2、Vicuna-13B 和文心一言，經(jīng)過歷史經(jīng)驗(yàn)知識(shí)注入后嵌入式尋找協(xié)同數(shù)據(jù)，使得大模型的代碼能力較原來未采用知識(shí)注入的效果有較大的提升。

此外，以代碼修復(fù)為例，與 ChatGPT3.5 對(duì)比，經(jīng)過上述知識(shí)注入后微調(diào)的結(jié)果，在關(guān)鍵字錯(cuò)誤、分號(hào)缺失、括號(hào)不匹配、變量類型錯(cuò)誤等方面都有提升，平均提升 20%，大部分任務(wù)優(yōu)于 GPT3.5。

2. 小知識(shí)學(xué)習(xí)

在微調(diào)中，通常面臨如下的問題：基于整理好的垂類領(lǐng)域數(shù)據(jù)，如 TB 級(jí)別的數(shù)據(jù)灌入到大模型中，但是大模型只能對(duì)已經(jīng)輸入的特定知識(shí)進(jìn)行回答，泛化一些的問題，則完全無法給出答案。如何基于小的垂類知識(shí)，激活大模型相關(guān)能力？下面以知識(shí)問答為例，介紹基于小知識(shí)的大語(yǔ)言模型學(xué)習(xí)。

多層知識(shí)體系：我們采用人機(jī)耦合方式構(gòu)建分層知識(shí)圖譜，下層為粒度細(xì)的知識(shí)點(diǎn)，上層為泛化的知識(shí)。利用大模型，自己挖掘節(jié)點(diǎn)之間的關(guān)系。

示例：二分查找怎么做？

• 知識(shí)查找：將二分查找問題的關(guān)鍵點(diǎn)抽取出來，并映射到圖譜上，找到所有相關(guān)的分層圖譜，建立相關(guān)性連接；
• 推理圖構(gòu)建：在局部知識(shí)圖譜上進(jìn)行簡(jiǎn)單推理；
• 知識(shí)推理：基于圖將其變成一個(gè) prompt，并放入大模型中；

這樣，將二分查找的相關(guān)細(xì)節(jié)輸入到大模型中進(jìn)行微調(diào)，經(jīng)過微調(diào)的大模型更有機(jī)會(huì)激發(fā)得到正確的答案。

多輪迭代的大語(yǔ)言模型小知識(shí)學(xué)習(xí)

示例：學(xué)生問循環(huán)累加哪里錯(cuò)了？

• 未調(diào)整前的 Prompt：直接問循環(huán)累加怎么做，大模型給到的答案較敷衍，無法解決學(xué)生的問題。
• 調(diào)整后的 Prompt：基于推理圖，給到更精準(zhǔn)的 Prompt。
• 基于 GPT4 進(jìn)行回答評(píng)分，調(diào)整前基本 10 道題有 6 道題答得不錯(cuò)，調(diào)整后 10道題會(huì)有 8 道題回答較好，有了大幅提升。

知識(shí)注入后，大模型了解了概念，但是仍然無法回答問題，原因在于 prompt 不夠好。通過模仿 prompt 工程師，可以有效提升大模型的效果。這樣解決了只是簡(jiǎn)單將語(yǔ)料給到大模型，大模型沒有辦法激活相關(guān)能力的問題。

3. 強(qiáng)化認(rèn)知推薦

由于給學(xué)生推薦學(xué)習(xí)路徑的收益顯現(xiàn)歷時(shí)較長(zhǎng)，如何評(píng)判哪個(gè)學(xué)習(xí)路徑推薦更好呢？?jī)蓚€(gè)水平近似但知識(shí)分布不同的學(xué)生，推薦的學(xué)習(xí)路徑也應(yīng)不同。面對(duì)上述挑戰(zhàn)，我們采用了強(qiáng)化學(xué)習(xí)的方案，推薦模型即為 Agent，缺乏的環(huán)境通過大模型模擬生成，也即基于大模型的仿真強(qiáng)化認(rèn)知推薦。

融合大模型和傳統(tǒng)深度知識(shí)追蹤模型，模擬環(huán)境的收益和狀態(tài)變化情況。

• 給出狀態(tài)，如推薦一道題后，學(xué)生狀態(tài)發(fā)生哪些變化。
• 推薦一道題后，基于領(lǐng)域的函數(shù)，得出其即時(shí)的收益。

學(xué)生的知識(shí)圖譜：

• 黃色：待學(xué)習(xí)的知識(shí)點(diǎn)
• 藍(lán)色：推薦學(xué)習(xí)知識(shí)點(diǎn)
• 綠色：已掌握知識(shí)點(diǎn)
• 紅色：未掌握知識(shí)點(diǎn)

通過大模型解決了沒有交互數(shù)據(jù)（即推薦學(xué)習(xí)后狀態(tài)和收益數(shù)據(jù)）實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)的問題。

在原來比較小規(guī)模數(shù)據(jù)中，實(shí)現(xiàn)學(xué)會(huì)一道題，按照之前邏輯可能需要 9 步，通過當(dāng)前的方式，提高推薦能力，解決同一道題目，只需要更少的步驟。

在中等知識(shí)點(diǎn)學(xué)習(xí)中，強(qiáng)化認(rèn)知推薦比普通的認(rèn)知推薦平均步驟下降了 30%，有更高的學(xué)習(xí)效率。

03

產(chǎn)品案例

1. 青蛙編程平臺(tái)

上述教育大模型，已集成于青蛙（找 bug）編程平臺(tái)和 AI 編程學(xué)習(xí)機(jī)中。

青蛙編程平臺(tái)可以實(shí)現(xiàn) AI 自主學(xué)習(xí)，基于知識(shí)卡進(jìn)行智能交互式練習(xí)，更加輕松有趣。當(dāng)前已與多位名師、多家機(jī)構(gòu)合作，服務(wù) 2 萬(wàn) ＋ 學(xué)生，基于數(shù)據(jù)驅(qū)動(dòng)的教學(xué)更高效、精準(zhǔn)。

上述技術(shù)已經(jīng)發(fā)表 40 論文、10 專利。

2. AI 編程學(xué)習(xí)機(jī)

AI 編程學(xué)習(xí)機(jī)采用了墨水屏幕，無藍(lán)光，更護(hù)眼。

智能教輔示例：

學(xué)生：這道題怎么做？

大模型：給出一些提示

學(xué)生：基于提示還是不會(huì)做，怎么辦？

大模型：給出正確答案

學(xué)生：將正確答案抄寫后，編譯通過，但未通過測(cè)試用例

大模型：英語(yǔ)少了一個(gè)字母

學(xué)生：終于完成這道題目

智能教輔一方面解決了通常只能一對(duì)一才能解決的問題，另一方面孩子自主完成題目，提升其自信心和學(xué)習(xí)興趣。同時(shí)可以讓教師集中精力解決共性的難點(diǎn)問題。

3. 智能云端編譯器

平臺(tái)中集成了青少智慧編譯器（智能云端編譯器），超過行業(yè)頭部品牌。

編譯器具有如下四大優(yōu)勢(shì)：

• 更輕便：云端免安裝，降低對(duì)硬件的要求
• 更智能：內(nèi)置青少編程大模型，可智能糾錯(cuò)
• 更專業(yè)：內(nèi)置各種編程環(huán)境，減少出錯(cuò)的問題
• 更簡(jiǎn)單：編譯器漢化，降低調(diào)試的門檻。

4. 數(shù)字人 AI 錄播課平臺(tái)

錄播課通常為老師持續(xù)輸出內(nèi)容，學(xué)生可能無法長(zhǎng)時(shí)間專注?；跀?shù)字人的 AI 錄播課平臺(tái)，提供了個(gè)性化課程、智能化老師、精準(zhǔn)化練習(xí)。

• 虛擬老師可實(shí)現(xiàn)針對(duì)學(xué)生的問題，實(shí)時(shí)回答，提高互動(dòng)性。
• 根據(jù)學(xué)生的歷史信息以及錄播課的情況、編程情況，可生成個(gè)性化編程題目，提高學(xué)習(xí)的趣味性。

如下為一段示例：

虛擬老師：如圖，目前公認(rèn)的在中國(guó)適用的 BMI 標(biāo)準(zhǔn)是：當(dāng) BMI 小于等于 18.4，說明你的體重偏瘦。當(dāng) BMI 大于 18.4，小于等于 23.9，說明你的體重正常。當(dāng) BMI 大于 23.9 且小于等于 28.0，就是過重。當(dāng) BMI 大于 28.0 就達(dá)到肥胖程度。

孟同學(xué)：為什么 BMI 大于 28 是肥胖而不是 27？

虛擬老師：BMI 大于 28 被定義為肥胖是基于大量的研究和統(tǒng)計(jì)數(shù)據(jù)得出的結(jié)論，這個(gè)標(biāo)準(zhǔn)是根據(jù)全球范圍內(nèi)的人群數(shù)據(jù)進(jìn)行分析得出的。不同的人群可能有不同的標(biāo)準(zhǔn)，但是 28 是一個(gè)被廣泛接受的標(biāo)準(zhǔn)。

青蛙編程平臺(tái)以及數(shù)字人 AI 錄播課平臺(tái)，涵蓋優(yōu)質(zhì)的學(xué)習(xí)資源，可對(duì)標(biāo)行業(yè)頭部品牌，集成了智能云端編譯器，已經(jīng)超過行業(yè)頭部品牌，與金牌教練名師合作制作專屬AI 錄播課，打造私人專屬課堂。

04

思考與展望

1. 大模型 VS.“小模型”

大模型能力全面，但存在如下限制：

（1）計(jì)算資源需求大

• 高性能計(jì)算機(jī)、專用加速器（如 GPU、TPU 等）。
• 大量的存儲(chǔ)空間。

（2）訓(xùn)練時(shí)間長(zhǎng)

通常需要數(shù)天甚至數(shù)周的時(shí)間，需要高效的算法和硬件加速訓(xùn)練過程。

（3）不易定制

• 通常達(dá)到千億級(jí)別的參數(shù)才能實(shí)現(xiàn)特殊能力的涌現(xiàn)，不易定制。
• 垂類大模型做完后，到實(shí)現(xiàn)上線和 B 端機(jī)仍有很多工作要做。

中小廠的取勝之道，降低模型 size、做定制化、本地化。

• 利用網(wǎng)絡(luò)剪枝、向量量化、低秩近似等技術(shù)減少大模型的參數(shù)。
• 利用知識(shí)蒸餾等技術(shù)將大模型的特殊能力遷移到小規(guī)模網(wǎng)絡(luò)參數(shù)的模型。

2. 融入領(lǐng)域知識(shí)

在通用大模型上，小公司與大公司有較大的差距，但小公司基于小而美的專家團(tuán)隊(duì)，融入領(lǐng)域知識(shí)，結(jié)合知識(shí)圖譜，可以在垂類大模型上贏得先機(jī)。

3. “人工的智能”在于精細(xì)化的數(shù)據(jù)

“人工的智能”勝在垂類的精細(xì)化數(shù)據(jù)。中小廠做垂類大模型的商業(yè)模式，一定不是花錢做標(biāo)注，那將需要非常大的資金成本。中小公司可通過設(shè)計(jì)商業(yè)模式，讓用戶免費(fèi)“幫忙”標(biāo)數(shù)據(jù)。例如，我們有虛擬老師、自主編程平臺(tái)，孩子在完成代碼的修訂過程中，就是在幫忙標(biāo)記數(shù)據(jù)，隨著業(yè)務(wù)的推廣，數(shù)據(jù)飛輪效應(yīng)將逐漸顯現(xiàn)。

05

問答環(huán)節(jié)

Q1：貴司的教育大模型是如何訓(xùn)練微調(diào)的？

A1：由于當(dāng)前很多大模型相關(guān)訓(xùn)練和微調(diào)的技巧未寫專利和論文，今日更多分享的是思路，用的還是通用的一些方法，如 SFT 等。

Q2：小知識(shí)學(xué)習(xí)中，客體知識(shí)多，但是單個(gè)用戶（主體）的知識(shí)很少的問題，是如何來增強(qiáng)解決的？

A2：對(duì)于主體知識(shí)的補(bǔ)足，我們基于對(duì)抗神經(jīng)網(wǎng)絡(luò)，通過仿真生成更多的主體數(shù)據(jù)。例如，一個(gè)學(xué)生在平臺(tái)做了三道題，基于其他學(xué)生的題目，通過大模型仿真模擬學(xué)生做第四道題、第五道題、第六道題。同時(shí)基于對(duì)抗神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)模擬的題目與學(xué)生的真實(shí)水平一致。

以上就是本次分享的內(nèi)容，謝謝大家。