阿裏雲發佈ODPS 6小時內可處理100PB數據

text

新華社杭州7月8日電(記者韋慧、張遙)8日,阿里巴巴集團旗下阿裏雲計算發佈大數據產品——開放數據處理服務ODPS。據悉,ODPS可在6小時內處理100PB數據,相當於1億部高清電影。通過ODPS線上服務,花幾百元即可分析海量數據。目前,全球還有Google、亞馬遜等少數公司掌握這種能力。

業內人士稱,採用傳統方案處理大規模數據,一般得耗資數千萬自建數據中心,請專業技術人員維護運作。一旦數據總量超過100TB,技術挑戰會非常大。能夠對大量數據進行分佈式處理的軟件框架Hadoop開源運動降低了這一成本,不過自建一個像樣的Hadoop集群,仍然需要上百萬的起步資金,專業的Hadoop人才則更加稀缺。

阿裏雲相關負責人說,阿裏雲的工程師們利用5年的時間寫下250萬行代碼,不斷打磨ODPS。相比而言,使用ODPS的成本和門檻低得多。它採取按量收費的模式,目前定價0.3元/GB,即開即用,一個月內免費。根據大部分公司的數據量來測算,一般每月只需花費數百元。

據悉,在對外商用之前,阿裏小貸最先將ODPS應用到商業領域,淘寶、支付寶等阿里巴巴最核心的數據業務,都運行在ODPS平臺。目前,超過36萬人從阿裏小貸借款,最小貸款額為1元,並能實現3分鐘申請、1秒放款、0人工干預。阿裏小貸每天得處理30PB數據,包括800億個信息項,運算100多個數據模型。

在公共領域,華大基因利用ODPS進行基因測序,耗時不到傳統方式的十分之一;藥監部門利用ODPS,全程監管藥品流向,解決假藥問題。

阿裏雲方面表示,ODPS不僅支持更豐富的SQL語法,還將提供MapReduce編程模型和機器學習建模能力,可以服務更多應用場景。(完)