今年以來，科技巨頭們終于將目光投向了行業(yè)側(cè)、端側(cè)。360集團創(chuàng)始人、董事長周鴻祎曾指出，在具體的落地場景上，在把大模型做“大”的同時，做“小”也是一個重要的趨勢，使大模型能夠搭載在手機、電腦，各種物聯(lián)網(wǎng)設(shè)備上，尤其是智能網(wǎng)聯(lián)汽車，2024年將更多的搭載大模型。
IBM大中華區(qū)首席技術(shù)官、研發(fā)中心總經(jīng)理謝東也曾公開表示，對于企業(yè)而言，應(yīng)用模型的目的是希望其能以較低的成本，解決特定的問題，“對于企業(yè)級應(yīng)用而言，模型反而是越小越好，因為越小越靈活，越小成本越低。”謝東如是說。
確實，通過今年各大廠商的動態(tài)不難看出，相較于模型參數(shù)的“大”，廠商們將更多的注意力集中在如何訓(xùn)練出“小”且垂直行業(yè)好用的模型。而大模型能力在諸如手機、電腦、汽車等端側(cè)的應(yīng)用落地，也成為當下科技巨頭們聚焦的話題之一。
走向端側(cè)的大模型需要“軟硬兼施”
大模型真正在行業(yè)側(cè)、端側(cè)落地的過程中，無論是軟件層面，還是硬件層面，都將迎來新一輪的變革。
從硬件角度出發(fā)，大模型除了對CPU、GPU等在內(nèi)的眾多芯片有著較高的要求和需求以外，對于設(shè)備的散熱、連接等方面也有著與原先不同的高要求。
隨著技術(shù)和社會，以及人工智能的發(fā)展，教育數(shù)字化對IT設(shè)備提出了新的需求，如何將AI芯片應(yīng)用到教育設(shè)備中，賦能教育行業(yè)發(fā)展已經(jīng)成為當下的熱門話題，在英特爾中國區(qū)市場營銷集團網(wǎng)絡(luò)與邊緣技術(shù)支持總監(jiān)王景佳看來，AI技術(shù)可以有效幫助老師從過去比較傳統(tǒng)的繁重工作當中脫身出來，更多關(guān)注于學生。AI技術(shù)也可以使老師和學生更加高效地互動，從而得到教學相長。借助AI技術(shù)，老師們還可以使整個學校做到因材施教，從而達到教育的目標。
以連接層面為例，企業(yè)在采購設(shè)備的時候，往往不會只采購一家的設(shè)備，這就對設(shè)備之間的兼容性，以及設(shè)備之間的連接/轉(zhuǎn)換器都提出了更高的要求。而這個層面也成為建設(shè)行業(yè)生態(tài)過程中重要的一部分。
據(jù)悉，為了滿足AI大模型想端側(cè)落地的需求，日前，在第83屆中國教育裝備展示會期間，英特爾就聯(lián)合合作伙伴共同發(fā)布全新OPS（Open Pluggable Specification，開放式可插拔規(guī)范）2.0。
英特爾網(wǎng)絡(luò)與邊緣事業(yè)部HEC中國區(qū)總經(jīng)理陸英潔告訴鈦媒體APP，全新OPS2.0規(guī)范的發(fā)布為AI大模型在端側(cè)的部署提供了一套標準化的操作流程和接口，這有助于不同廠商和開發(fā)者之間的協(xié)作，推動AI大模型在端側(cè)的廣泛應(yīng)用。
隨著AI技術(shù)的不斷發(fā)展，傳統(tǒng)的端側(cè)設(shè)備顯然已經(jīng)不能滿足當下行業(yè)的需求，以交互式平板為例，傳統(tǒng)的交互式平板更多的是要具備顯示功能，但隨著AI大模型向教育行業(yè)的滲透，交互式平板當下已經(jīng)需要具備更多互動和助教的能力。比如需要具備師生協(xié)同，即看即所得、即寫即顯示的能力，不僅于此，在王景佳看來，隨著技術(shù)的發(fā)展，端側(cè)的IT設(shè)備要預(yù)留足夠的擴展接口，為將來的技術(shù)和產(chǎn)品部署提供支撐和能力。
而剛剛發(fā)布的OPS2.0模塊可以看作是一個可插拔的計算單元，在適配CPU、GPU等不同場景下，都具備了相應(yīng)的擴展能力，“這點是OPS2.0與1.0相比，提升最大的地方之一?！蓖蹙凹褟娬{(diào)。
除了硬件層面，軟件層面的不斷迭代，對于大模型在行業(yè)落地也起到了至關(guān)重要的作用。同樣以教育行業(yè)為例，深圳市德晟達電子科技有限公司副總經(jīng)理彭元濤告訴鈦媒體APP，過去，很多交互式平板使用的是安卓的操作系統(tǒng)，但在實際教學中使用率，以及方便程度并不高。但是升級后的OPS2.0，可以兼容eDP，進一步簡化大屏的硬件架構(gòu)的同時，還降低了書寫延遲，“現(xiàn)在，我們eDP可以通過OPS進行直連驅(qū)屏，通過軟件優(yōu)化的形式，讓傳輸速度更高，延時更低?！迸碓獫赋觥?/p>
不僅于此，陸英潔告訴鈦媒體APP，在軟件工具層面，英特爾也打造了包括OpenVINO等在內(nèi)的工具，以滿足時下終端用戶對于訓(xùn)練和推理的需求，“具體到大模型領(lǐng)域，英特爾也在跟不同通用ISV和行業(yè)ISV做一些大模型的探索和項目的優(yōu)化?！标懹嵵赋?。
需求不斷涌現(xiàn)，技術(shù)驅(qū)動發(fā)展
隨著AI技術(shù)的不斷發(fā)展，我們也看到了越來越多行業(yè)開始擁抱AI帶來的紅利，也將有越來越多的應(yīng)用場景出現(xiàn)。同樣以教育行業(yè)為例，當下教育數(shù)字化轉(zhuǎn)型已經(jīng)進入了AI賦能的階段，師生之間需要的不僅是簡單的顯示，已經(jīng)數(shù)字化教室，而是需要整個教學周期的數(shù)字化、智能化。
對于老師來說，老師們需要更精準、更細致的了解每個同學上課時的表現(xiàn)，課堂上與老師互動的數(shù)據(jù)，以及課后學習情況；
對于學生來說，學生渴望更真實的感受課本上的內(nèi)容，需要每位同學都擁有一個隨身相伴的專屬老師，可以根據(jù)自身情況，定制專屬的學習計劃；
對于家長來說，家長希望可以通過簡單明了的可視化數(shù)據(jù)，了解學生在校的表現(xiàn)，以及學習的情況，并可以通過簡單的數(shù)字化工具與老師進行教學層面的交流…..
針對此，視源股份整機BG商用顯示事業(yè)部總經(jīng)理黃柏林指出，當下，老師面臨著教學設(shè)計效率質(zhì)量難保障，教學質(zhì)量評估人工成本高，教研活動成果難量化，缺乏客觀的課堂回顧依據(jù)等諸多難題。
上述提到的還僅僅是當下教育行業(yè)所面臨的諸多需求的一小部分，隨著AI技術(shù)在教育行業(yè)的逐步應(yīng)用，這些需求也將一一得以滿足。在黃柏林看來，這些都是當下教育行業(yè)切實的需求，要以技術(shù)驅(qū)動這些需求落地仍有很長的路要走。
黃柏林告訴鈦媒體APP，未來，AI 教學的模式主要將展現(xiàn)在四個方面：備課助手、研討增效、課堂反饋，以及學情評價。
備課助手方面，老師通過AI大模型的能力可以快速的生成課件，并進行課件美化，達到更好的授課效果。
研討增效方面，老師可以通過語言大模型的能力，進行摘要整理，觀點提煉等操作，減少了老師在研討方面的工作量，提升了效率。
課堂反饋方面，老師可以根據(jù)NPU計算采集的課堂活動捕捉數(shù)據(jù)，并通過AI大模型的能力，深入分析每個學生的課堂表現(xiàn)，并對學生的表現(xiàn)進行智能反饋。
學情分析方面，在課后，老師可以根據(jù)綜合的數(shù)據(jù)，對每位學生一節(jié)課、一天、一周，甚至一個學期的數(shù)據(jù)進行分析評估，用數(shù)據(jù)真實反映每個學生的學習情況，并進行作業(yè)的批改。
在黃柏林看來，這四個方面是未來教育與AI深度融合的主要方向。當然，這也離不開軟件、硬件層面的協(xié)同發(fā)展，以及整個教育數(shù)字生態(tài)的建設(shè)。而OPS2.0的迭代，是大模型能力走向端側(cè)過程中重要的一塊拼圖。（本文首發(fā)于鈦媒體APP，作者 | 張申宇，編輯 | 蓋虹達）
版權(quán)聲明：本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻，該文觀點僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權(quán)，不承擔相關(guān)法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容， 請發(fā)送郵件至 舉報，一經(jīng)查實，本站將立刻刪除。
