地震、海嘯、火山爆發(fā)等自然災(zāi)害給人帶來嚴(yán)重后果,這些突發(fā)災(zāi)害隨時(shí)隨地都有可能發(fā)生,在自然災(zāi)害面前,我們深知人類力量的渺小,但是隨著云計(jì)算、大數(shù)據(jù)以及人工智能等技術(shù)的發(fā)展,我們能夠以睿智和科學(xué)來抵御自然災(zāi)害。 云計(jì)算怎么預(yù)測地震?
地震、海嘯、火山爆發(fā)等自然災(zāi)害給人帶來嚴(yán)重后果,這些突發(fā)災(zāi)害隨時(shí)隨地都有可能發(fā)生,在自然災(zāi)害面前,我們深知人類力量的渺小,但是隨著云計(jì)算、大數(shù)據(jù)以及人工智能等技術(shù)的發(fā)展,我們能夠以睿智和科學(xué)來抵御自然災(zāi)害。
云計(jì)算怎么預(yù)測地震?
每年的地震波數(shù)據(jù)量大概是30TB,且總數(shù)據(jù)量達(dá)到PB級(jí)別。由于要相互對(duì)比每一個(gè)地震臺(tái)每個(gè)時(shí)間點(diǎn)的每個(gè)分量數(shù)據(jù),并且這些計(jì)算量是呈指數(shù)級(jí)增長的。在這種情況下,大規(guī)模分布式的云計(jì)算似乎成為了唯一的選擇。
云存儲(chǔ)
分布式存儲(chǔ)可以看作分布式計(jì)算的基礎(chǔ)條件。在將要進(jìn)行的計(jì)算中,計(jì)算系統(tǒng)會(huì)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行大規(guī)模的訪問。而這些訪問必須要平均地打到服務(wù)器上,絕不能存在熱點(diǎn)。
而這還不夠,由于服務(wù)器的硬件故障在大規(guī)模集群中會(huì)變成一個(gè)常態(tài)事件,所以必須做好資源的實(shí)時(shí)調(diào)度和提供故障容忍能力。例如保證在摘掉一塊硬盤的時(shí)候,其余的硬盤要迅速用備份數(shù)據(jù)把存儲(chǔ)追齊。
在分布式計(jì)算中,數(shù)據(jù)帶寬成為了一個(gè)重要的參數(shù)。如果把數(shù)據(jù)存儲(chǔ)在自己的服務(wù)器上,僅僅利用云計(jì)算能力進(jìn)行結(jié)果輸出,是不能實(shí)現(xiàn)的。原理很簡單,分布式計(jì)算的所有服務(wù)器都向一個(gè)存儲(chǔ)單位發(fā)送數(shù)據(jù)讀取請求,帶寬會(huì)被瞬間堵死,再強(qiáng)大的算力都無法發(fā)揮。
批量計(jì)算
如何使代碼在云計(jì)算的環(huán)境中發(fā)揮作用是一個(gè)很重要的問題。在地震科學(xué)研究方面,通過一個(gè)通用的接口來對(duì)云上的計(jì)算進(jìn)行控制。
所提供的計(jì)算接口可以讓單機(jī)程序不做修改就高效執(zhí)行在云環(huán)境下。用戶通過幾句簡單的命令就能在云上調(diào)動(dòng)大規(guī)模的計(jì)算資源進(jìn)行分析,而不需要學(xué)習(xí)復(fù)雜的分布式計(jì)算知識(shí)。但云計(jì)算真正的核心技術(shù),還在于批量計(jì)算的算力調(diào)度之上。
計(jì)算規(guī)模擴(kuò)大之后,就會(huì)造成對(duì)存儲(chǔ)資源的訪問非常頻繁,這時(shí),對(duì)于訪問的并發(fā)量的控制就要非常謹(jǐn)慎了。
應(yīng)用有非常多的小I/O請求,如果每一次I/O請求都直接訪問云存儲(chǔ),由此帶來的延時(shí)會(huì)對(duì)計(jì)算效率造成影響。為了進(jìn)一步優(yōu)化計(jì)算性能,批量計(jì)算采取了分布式緩存的策略,把有可能會(huì)用到的數(shù)據(jù),提前緩存到計(jì)算節(jié)點(diǎn)周圍。這樣,就可以讓計(jì)算能力不受集群規(guī)模的限制。
原本需要一年計(jì)算時(shí)間的整個(gè)中國數(shù)千個(gè)地震臺(tái)兩兩之間的五年數(shù)據(jù)的計(jì)算任務(wù),在云計(jì)算中狂飆,兩天之內(nèi)就計(jì)算完成了。這在云計(jì)算到來之前是無法想象的。
免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請發(fā)送郵件至:operations@xinnet.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。