數(shù)據(jù)湖技術(shù)賦能智慧消防,實(shí)現(xiàn)數(shù)據(jù)治理
物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、人工智能等新興技術(shù)與消防的深度融合,正在引發(fā)消防治理方式的深刻變革,科技創(chuàng)新已成為推動(dòng)消防行業(yè)發(fā)展的主要驅(qū)動(dòng)力。
伴隨著城市化進(jìn)程的加快,消防安全形勢也越來越復(fù)雜,“以數(shù)據(jù)為中心,驅(qū)動(dòng)消防治理數(shù)字化轉(zhuǎn)型”已成為當(dāng)前經(jīng)濟(jì)建設(shè)和社會(huì)發(fā)展的必然要求。對(duì)于來自早期的消防信息化系統(tǒng)的關(guān)系型數(shù)據(jù),數(shù)據(jù)倉庫可以滿足數(shù)據(jù)治理和存儲(chǔ)的要求,但是隨著智慧消防建設(shè)的不斷推進(jìn),來自物聯(lián)網(wǎng)設(shè)備、移動(dòng)應(yīng)用程序的非關(guān)系型數(shù)據(jù)越來越多,很難存儲(chǔ)在數(shù)據(jù)倉庫中,數(shù)據(jù)存儲(chǔ)分散、橫向的數(shù)據(jù)共享和分析的短板問題凸顯,難以對(duì)全局?jǐn)?shù)據(jù)開展大數(shù)據(jù)挖掘。數(shù)據(jù)湖技術(shù)能同時(shí)滿足關(guān)系型數(shù)據(jù)和非關(guān)系型數(shù)據(jù)的存儲(chǔ),為大數(shù)據(jù)時(shí)代的數(shù)據(jù)治理、數(shù)據(jù)存儲(chǔ)提供了新途徑。
一.數(shù)據(jù)湖的概念
數(shù)據(jù)湖(Data Lake)最早是由 Pentaho公司的創(chuàng)始人兼首席技術(shù)官詹姆斯?狄克遜( James Dixon)在2011年提出來的,是一種新的數(shù)據(jù)存儲(chǔ)理念,即在系統(tǒng)或存儲(chǔ)庫中以自然格式存儲(chǔ)數(shù)據(jù)的方法。
最初數(shù)據(jù)湖是作為對(duì)數(shù)據(jù)倉庫的補(bǔ)充,是為了解決數(shù)據(jù)倉庫漫長的開發(fā)周期,高昂的開發(fā)、維護(hù)成本,細(xì)節(jié)數(shù)據(jù)丟失等問題出現(xiàn)的。而從2011年前后,很多數(shù)據(jù)倉庫逐漸遷移到Hadoop為基礎(chǔ)的技術(shù)棧上,而且除了結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化、非結(jié)構(gòu)數(shù)據(jù)也逐漸地存儲(chǔ)到數(shù)據(jù)倉庫中,并提供此類服務(wù)。這樣的數(shù)據(jù)倉庫,已經(jīng)具有了數(shù)據(jù)湖的部分功能。由此,催生了數(shù)據(jù)湖的概念。
數(shù)據(jù)湖是一個(gè)集中式存儲(chǔ)庫,允許用戶以任意規(guī)模存儲(chǔ)所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。用戶可以按原樣存儲(chǔ)數(shù)據(jù)(無需先對(duì)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理),并運(yùn)行不同類型的分析—從控制面板和可視化,到大數(shù)據(jù)處理、實(shí)時(shí)分析和機(jī)器學(xué)習(xí),以輔助管理者做出更好的決策。
圖:數(shù)據(jù)湖處理架構(gòu)
二.數(shù)據(jù)湖的價(jià)值
數(shù)據(jù)湖作為一種新型的數(shù)據(jù)存儲(chǔ)庫,具有輕松收集數(shù)據(jù),易于發(fā)掘數(shù)據(jù)價(jià)值,消除數(shù)據(jù)孤島,具有更好的擴(kuò)展性與敏捷性等優(yōu)勢。
在數(shù)據(jù)存儲(chǔ)方面,數(shù)據(jù)湖按照系統(tǒng)的原生模型存儲(chǔ)數(shù)據(jù),不僅簡化了數(shù)據(jù)的處理過程,保證數(shù)據(jù)真實(shí)可靠,同時(shí)能對(duì)具有時(shí)效性要求的實(shí)時(shí)應(yīng)用提供更好的支撐。
在分析應(yīng)用方面,數(shù)據(jù)湖能夠在更短的時(shí)間內(nèi)從更多來源利用更多數(shù)據(jù),并使用戶能夠以不同方式協(xié)同處理和分析數(shù)據(jù),從而做出更好、更快的決策。
在數(shù)據(jù)治理方面,數(shù)據(jù)湖提供統(tǒng)一的目錄管理、權(quán)限控制、編排調(diào)度、追蹤溯源等功能,能夠有效識(shí)別和管控各項(xiàng)數(shù)據(jù)及其處理過程,促進(jìn)數(shù)據(jù)質(zhì)量的持續(xù)提升。
圖:數(shù)據(jù)湖具備的能力
三.數(shù)據(jù)湖賦能智慧消防
在智慧消防的應(yīng)用中,引入數(shù)據(jù)湖技術(shù),統(tǒng)一匯集區(qū)域基本數(shù)據(jù)、單位消防數(shù)據(jù)、建筑數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、監(jiān)督執(zhí)法數(shù)據(jù)、其他行業(yè)數(shù)據(jù)、部門共享數(shù)據(jù)等各類信息,構(gòu)建數(shù)據(jù)管理機(jī)制和數(shù)據(jù)處理機(jī)制,提高其數(shù)據(jù)集成能力、數(shù)據(jù)治理能力、數(shù)據(jù)安全管控能力,為數(shù)據(jù)分析和開發(fā)人員提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)和訪問服務(wù),充分發(fā)揮數(shù)據(jù)價(jià)值。
利用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法對(duì)這些消防數(shù)據(jù)進(jìn)行建模、訓(xùn)練和驗(yàn)證,得出數(shù)據(jù)之間的關(guān)聯(lián)性或者因果推斷關(guān)系來建立各種模型進(jìn)行分析和預(yù)測,為消防管理和決策提供數(shù)據(jù)支持。通過模型的建立,智慧消防大數(shù)據(jù)平臺(tái)可以對(duì)區(qū)域、單位火災(zāi)風(fēng)險(xiǎn)進(jìn)行分析研判,科學(xué)制定監(jiān)督執(zhí)法任務(wù),指導(dǎo)社會(huì)面消防工作的開展,并結(jié)合滅火救援相關(guān)數(shù)據(jù),開展聯(lián)勤聯(lián)動(dòng)、輔助應(yīng)急救援、決策指揮等工作,實(shí)現(xiàn)數(shù)據(jù)深度運(yùn)用,筑牢消防安全屏障,推動(dòng)消防治理數(shù)字化轉(zhuǎn)型。
圖:消防數(shù)據(jù)湖
消防與社會(huì)經(jīng)濟(jì)發(fā)展緊密關(guān)聯(lián),是保障民生的重要內(nèi)容。數(shù)據(jù)湖技術(shù)為消防監(jiān)督管理工作提供準(zhǔn)確可靠的數(shù)據(jù)支撐,滿足消防工作多樣化和層次化需求,使消防信息化系統(tǒng)發(fā)揮更大的作用,提高了消防監(jiān)督執(zhí)法水平。
掃描二維碼推送至手機(jī)訪問。
版權(quán)聲明:本文如需轉(zhuǎn)載請注明出處。如發(fā)現(xiàn)本站有涉嫌抄襲侵權(quán)/違法違規(guī)的內(nèi)容, 請發(fā)送郵件至 xp@gdliontech.cn舉報(bào),一經(jīng)查實(shí),本站將立刻刪除。