物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量。分析師預(yù)計(jì)，2019年將有266.6億臺(tái)物聯(lián)網(wǎng)設(shè)備投入使用。此外，IDC預(yù)計(jì)，到2025年，物聯(lián)網(wǎng)設(shè)備將產(chǎn)生超過90 zettabytes的數(shù)據(jù)。

所有這些數(shù)據(jù)意味著什么？

通過流式分析，它意味著可以對拯救生命事件的實(shí)時(shí)反應(yīng)。例如，卡車接收關(guān)于道路上結(jié)冰的數(shù)據(jù)，然后，卡車不僅可以提醒駕駛員，而且還可以提醒其他車輛結(jié)冰的確切位置。

為了使這種實(shí)時(shí)數(shù)據(jù)能夠以高容量和高速度從物聯(lián)網(wǎng)傳感器和網(wǎng)絡(luò)操作中不斷流入組織，您需要一種不同于傳統(tǒng)靜態(tài)事務(wù)數(shù)據(jù)所需的數(shù)據(jù)管理解決方案。

以卡車為例。想象一下，冬天的時(shí)候，你在路上開著一輛卡車。貴公司為車輛安裝了物聯(lián)網(wǎng)傳感器，可持續(xù)監(jiān)控車輪打滑、氣溫、速度和轉(zhuǎn)速情況。突然，當(dāng)氣溫降至冰點(diǎn)以下時(shí)，車輪打滑測量值急劇上升，如果卡車或司機(jī)能在幾毫秒內(nèi)做出反應(yīng)，事故就可以避免，如果沒有，傳感器數(shù)據(jù)就沒有意義。

事件流處理

事件流處理系統(tǒng)使您能夠通過實(shí)時(shí)數(shù)據(jù)清理和分析及時(shí)處理這些數(shù)據(jù)。

讓我們定義事件流處理：“事件”是在明確定義的時(shí)間發(fā)生并記錄在數(shù)據(jù)字段集合中的任何事件; “流”是數(shù)據(jù)事件的持續(xù)流動(dòng)，或者是從成千上萬個(gè)連網(wǎng)設(shè)備流入企業(yè)內(nèi)部和企業(yè)周圍的持續(xù)數(shù)據(jù)流;“處理”是指分析數(shù)據(jù)的行為。

當(dāng)事件流處理系統(tǒng)管理來自物聯(lián)網(wǎng)傳感器的數(shù)據(jù)時(shí)，它們會(huì)執(zhí)行將原始數(shù)據(jù)轉(zhuǎn)化為實(shí)時(shí)操作信息的過程。隨著大量數(shù)據(jù)快速流入系統(tǒng)，事件流處理系統(tǒng)會(huì)立即清理、規(guī)范和聚合內(nèi)存中的數(shù)據(jù)。同時(shí)，在這些數(shù)據(jù)流中編碼的實(shí)時(shí)分析模型將執(zhí)行分析，以確定特定事件是否相關(guān)，并在需要緊急行動(dòng)時(shí)生成即時(shí)警報(bào)。

實(shí)時(shí)分析與事后分析

事件流處理系統(tǒng)實(shí)時(shí)過濾數(shù)據(jù)。因?yàn)檫@些系統(tǒng)最初存儲(chǔ)數(shù)據(jù)的內(nèi)存是有限的，所以事件流處理系統(tǒng)決定要丟棄哪些數(shù)據(jù)或者要保存哪些數(shù)據(jù)，甚至可能以聚合形式保存，因?yàn)槎鄠€(gè)事件通常比單個(gè)事件更具信息性。

例如，當(dāng)卡車在結(jié)冰的道路上有打滑的危險(xiǎn)時(shí)，網(wǎng)絡(luò)邊緣的實(shí)時(shí)分析會(huì)立即提醒司機(jī)減速，甚至自動(dòng)減速。

相比之下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）存儲(chǔ)所有數(shù)據(jù)，并在事后進(jìn)行清理和分析。關(guān)系數(shù)據(jù)庫管理系統(tǒng)從預(yù)定義的來源收集數(shù)據(jù)，并將其存儲(chǔ)在存儲(chǔ)系統(tǒng)中，如數(shù)據(jù)集市。一旦進(jìn)入存儲(chǔ)，數(shù)據(jù)就會(huì)被清理、規(guī)范化并整合到數(shù)據(jù)倉庫或Hadoop中。只有這樣，用戶才能通過報(bào)告、歷史分析，甚至預(yù)測分析和機(jī)器學(xué)習(xí)，從數(shù)據(jù)中獲得意義。

例如，對于事件流處理，如果傳感器跟蹤氣溫并且氣溫保持穩(wěn)定，則系統(tǒng)不會(huì)存儲(chǔ)持續(xù)的讀數(shù)。相反，它可能只保留指示變化的讀數(shù)。

多階段分析提供了優(yōu)勢

事件流處理為您提供了多個(gè)從數(shù)據(jù)中提取價(jià)值的機(jī)會(huì)。對于傳統(tǒng)的數(shù)據(jù)管理，數(shù)據(jù)是歷史的，不會(huì)改變。它可能會(huì)在事后進(jìn)行分析一兩次，而不是更多。

事件流處理系統(tǒng)首先實(shí)時(shí)分析數(shù)據(jù)，從而能夠?qū)κ录龀黾磿r(shí)響應(yīng)。然后，您可以實(shí)時(shí)或