中文字幕 日本 在线 高清,久久精品国产99精品国,超碰人人香蕉,一区二区三区无码高清视频

阿里開源實時計算平臺Blink,能讓計算延遲降至毫秒級|技術詳解(阿里實時計算開發(fā)平臺)

雷剛 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

阿里開源實時計算平臺Blink,能讓計算延遲降至毫秒級|技術詳解(阿里實時計算開發(fā)平臺)

阿里巴巴這份開源禮物,業(yè)內期待已久。

近期,中國科技互聯(lián)網巨頭正式宣布將實時計算平臺Blink開源,該技術由開源的Flink改造而來,被廣泛應用在阿里眾多核心業(yè)務中。

比如淘寶天貓智能推薦系統(tǒng)、阿里媽媽廣告、高德地圖、城市大腦等,均有實時計算平臺Blink的支持。

這一技術甚至被認為是引領“下一代計算”的 “計算王牌”。

之前阿里透露開源意向時,就已經在開源和開發(fā)者群體中引發(fā)期待。

實時計算

所謂實時計算,通俗來講,即能夠基于實時變化數(shù)據(jù)更新大數(shù)據(jù)處理的狀態(tài)和結果。

最典型的如天貓雙11搶購中,即便在萬千人同時涌入的第一分鐘,也能保證每個人點開App瞬間實現(xiàn)千人千面的智能推薦。

阿里開源實時計算平臺Blink,能讓計算延遲降至毫秒級|技術詳解(阿里實時計算開發(fā)平臺)

這背后正是阿里云實時計算平臺Blink保駕護航的結果。

此外,對于眾多AI項目來說,實時計算也關系到實時機器學習和實時測試的效果。

阿里開源實時計算平臺Blink,能讓計算延遲降至毫秒級|技術詳解(阿里實時計算開發(fā)平臺)

在阿里此前的探索中,歸納總結出三方面挑戰(zhàn):

  • 業(yè)務龐大,場景多,大量的機器學習需求,這些因素一起導致了計算邏輯十分復雜;
  • 數(shù)據(jù)量大,作業(yè)多,因此整個實時計算的機器規(guī)模十分巨大;
  • 要保障低延遲和數(shù)據(jù)精確性,同時要滿足高吞吐量的需求。

Blink方案

為了應對上述挑戰(zhàn),阿里內部在調研諸多計算框架后,最終選定了Flink。

首先,F(xiàn)link很好地引入和設計了State,基于State復雜的邏輯計算如join能得到很好的描述。

其次,F(xiàn)link引入了Chandy-Lamport 算法,在此算法的支撐下可以完美實現(xiàn)Exactly-Once,并能在低延遲下實現(xiàn)高吞吐量。

值得一提的是,為了解決Flink在State、Chandy-Lamport 算法等方面的缺陷,阿里進一步結合Improvement,打造了Blink項目。

阿里開源實時計算平臺Blink,能讓計算延遲降至毫秒級|技術詳解(阿里實時計算開發(fā)平臺)

該項目可以分為2大板塊:

1、BlinkRuntime

包括存儲、調度和計算,不同公司在使用Flink時,存儲、調度以及底層優(yōu)化等方面會有諸多不同,阿里巴巴的blink內部也對Runtime做了諸多個性化的優(yōu)化。

2、Flink SQL

原生的Flink只有比較底層的DataStream API,用戶在使用時需要設計實現(xiàn)大量的代碼,此外DataStream本身也有設計上的缺陷。

為了方便用戶使用,阿里巴巴團隊設計了流計算的Flink SQL并推回了社區(qū),取名Flink SQL。

此外,作為開源版Blink,跟社區(qū)版本還有幾點差異:

第一是穩(wěn)定性方面,在某些場景會比社區(qū)版本更加穩(wěn)定,特別是在大規(guī)模場景;

另外Blink擁有全新的 Flink SQL 技術棧,它在功能上,特別是在批處理的功能上比社區(qū)版本強大很多。

它支持現(xiàn)在標準 SQL 幾乎所有的語法和語義,在性能上,無論是在流式 SQL 還是批 SQL,當前版本在性能上都有很大的優(yōu)勢。

特別是在批 SQL 的性能方面,當前 Blink 版本是社區(qū)版本性能的 10 倍以上,跟 Spark 相比,在 TPCDS 這樣的場景 Blink 的性能也能達到 3 倍以上。

阿里方面強調,如果用戶對批處理或者對 SQL 有著比較強的需求,這個版本會用戶可以得到很多好處。

(更多詳細技術解析詳見傳送門)

實戰(zhàn)效果

阿里方面還介紹說,現(xiàn)在,阿里集團的全部核心業(yè)務已經用上Blink。

除了技術大考雙11之外,ET城市大腦實時計算著杭州1300個信號燈路口、4500路視頻,保障著交通動脈的通暢;淘寶、天貓每天為數(shù)億用戶展現(xiàn)實時的“專屬”頁面。

未來,這項技術還會被應用到社會的各個場景:工廠設備的物聯(lián)網設備能實時分析數(shù)據(jù)、提高生產良品率;物流派送平臺能第一時間下單,把商品及時送到消費者手中;導航軟件時刻緊隨出行軌跡,不再錯過轉彎口……

而面向業(yè)界開源,更是能將更前沿的計算技術讓更多開發(fā)者受益其中。

傳送門

Blink on GitHub:

https://github.com/apache/flink/tree/blink

技術詳解:

一文揭秘阿里實時計算Blink核心技術

誠摯招聘

量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節(jié),請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?\’?\’ ? 追蹤AI技術和產品新動態(tài)

版權聲明:本文內容由互聯(lián)網用戶自發(fā)貢獻,該文觀點僅代表作者本人。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。如發(fā)現(xiàn)本站有涉嫌抄襲侵權/違法違規(guī)的內容, 請發(fā)送郵件至 舉報,一經查實,本站將立刻刪除。

(0)
上一篇 2024年7月8日 下午6:06
下一篇 2024年7月8日 下午6:17

相關推薦

  • Java教程:開發(fā)屬于自己的第一個Java程序(java教程-開發(fā)屬于自己的第一個java程序嗎)

    搭建好了Java開發(fā)環(huán)境之后,下面就來學習一下如何開發(fā)Java程序。為了讓初學者更好地完成第一個Java程序,接下來通過幾個步驟進行逐一講解。 1.編寫Java源文件 在D盤根目錄…

    科研百科 2023年4月20日
    258
  • 申報科研項目指標

    申報科研項目指標 隨著科技的不斷發(fā)展,科研項目申報已經成為許多研究人員和企業(yè)的重要任務之一。然而,如何申報科研項目是一個需要仔細考慮的問題。本文將介紹一些常見的科研項目申報指標,以…

    科研百科 2024年12月3日
    2
  • oa網上協(xié)同辦公系統(tǒng)

    oa網上協(xié)同辦公系統(tǒng):現(xiàn)代辦公的新選擇 隨著信息技術的不斷發(fā)展,現(xiàn)代辦公已經不再局限于傳統(tǒng)的紙質文件和電子郵件。相反,oa網上協(xié)同辦公系統(tǒng)成為了現(xiàn)代辦公的新選擇。本文將探討oa網上…

    科研百科 2025年1月2日
    18
  • 科研項目經費匹配報告

    科研項目經費匹配報告 科研項目經費匹配是科研項目成功實施的關鍵因素之一。合理的經費匹配可以使科研項目更加高效地開展,同時也有助于提高項目資金使用效率。本文將介紹科研項目經費匹配的相…

    科研百科 2025年3月26日
    4
  • ts16949質量管理體系最新版

    ts16949質量管理體系最新版ts16949質量管理體系最新版這里的\”墮落\”,可與\”墮落\”,簡單結合起來。游戲企業(yè)的核心組…

    科研百科 2024年11月18日
    1
  • 裝飾項目管理

    裝飾項目管理:成功的關鍵因素 裝飾項目管理是一個復雜而又充滿挑戰(zhàn)的過程,需要團隊的協(xié)作和高效的決策。在裝飾項目管理中,成功的關鍵因素包括以下幾個方面: 1. 清晰的項目計劃 項目計…

    科研百科 2024年5月25日
    34
  • 項目管理系統(tǒng)中的報告

    項目管理系統(tǒng)中的報告 隨著現(xiàn)代商業(yè)的發(fā)展,越來越多的企業(yè)采用項目管理系統(tǒng)來管理他們的項目。項目管理系統(tǒng)是一種軟件工具,可以幫助企業(yè)有效地組織、計劃和控制項目。本文將介紹項目管理系統(tǒng)…

    科研百科 2024年12月14日
    2
  • 貴州省公安廳科研項目名單貴州省公安廳科研項目名單

    貴州省公安廳科研項目名單 貴州省公安廳是一個位于中國貴州省的政府機構,負責保障貴州的安全和穩(wěn)定。隨著貴州在經濟、文化、科技等領域的快速發(fā)展,貴州省公安廳也不斷地開展著各種科研項目,…

    科研百科 2024年6月13日
    36
  • 軟件項目管理的問題

    軟件項目管理的問題 隨著軟件開發(fā)的日益普及,軟件項目管理已經成為了軟件開發(fā)過程中不可或缺的一部分。然而,在實際的軟件開發(fā)項目中,存在一些問題會影響到軟件項目管理的效率和質量。本文將…

    科研百科 2024年8月21日
    6
  • 軟件項目系統(tǒng)管理

    軟件項目系統(tǒng)管理 軟件項目系統(tǒng)管理是一種新興的項目管理方法,能夠幫助項目經理有效地管理項目,提高項目的效率和質量。本文將探討軟件項目系統(tǒng)管理的優(yōu)勢、應用場景以及如何實施軟件項目系統(tǒng)…

    科研百科 2025年1月21日
    2