IBM的InfoSphere大數(shù)據(jù)分析平臺
基于Hadoop的BigInsights
IBM 對 Hadoop 的研究開始于 2~3 年前。截止到目前，研究成果涉及作業(yè)調(diào)度、查詢語言等多個方面。2011年5月，IBM正式推出InfoSphere大數(shù)據(jù)分析平臺。“這也是目前業(yè)界唯一的專門針對大數(shù)據(jù)分析的平臺產(chǎn)品。”盧偉權(quán)說。目前業(yè)內(nèi)主流的做法是在已有產(chǎn)品中嵌入一些大數(shù)據(jù)功能。
InfoSphere大數(shù)據(jù)分析平臺包括 BigInsights和Streams,二者互補，Biglnsights對大規(guī)模的靜態(tài)數(shù)據(jù)進(jìn)行分析，它提供多節(jié)點的分布式計算，可以隨時增加節(jié)點，提升數(shù)據(jù)處理能力。Streams采用內(nèi)存計算方式分析實時數(shù)據(jù)。InfoSphere大數(shù)據(jù)分析平臺還集成了數(shù)據(jù)倉庫、數(shù)據(jù)庫、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件。
BigInsights基于Hadoop,增加了文本分析、統(tǒng)計決策工具，同時在可靠性、安全性、易用性、管理性方面提供了工具，并且可與DB2、Netezza等集成，這使大數(shù)據(jù)平臺更適合企業(yè)級的應(yīng)用。“作為一個優(yōu)秀的并行計算平臺，Hadoop 雖然已經(jīng)被廣泛驗證，但是在 Hadoop 上開發(fā) MapReduce 程序需要較長的開發(fā)周期，開發(fā)人員需要充分理解 MapReduce 計算框架和 HDFS 文件系統(tǒng)的原理和實現(xiàn)才能編寫出性能較好的 MapReduce 程序。” 陳奇解釋說，“此前一些基于Hadoop的大數(shù)據(jù)分析平臺都是出于科研項目的需要，而今要把大數(shù)據(jù)平臺變成企業(yè)級分析產(chǎn)品，對大數(shù)據(jù)平臺的要求就更高了。光有Hadoop這個架構(gòu)是遠(yuǎn)遠(yuǎn)不夠的，所以IBM對基于Hadoop的BigInsights做了很多改進(jìn)。”
比如，BigInsights提供了一種類似SQL的更高級的查詢語言。再如，除了支持 Hadoop 的 HDFS 存儲系統(tǒng)外，BigInsights還對 IBM 最新推出的 GPFS SNC平臺進(jìn)行支持，以更好地利用其強大的災(zāi)難恢復(fù)、高可靠性、高擴(kuò)展性的優(yōu)勢。“企業(yè)級產(chǎn)品更重要的是沒有單點故障，GPFS讓整個分布式系統(tǒng)更可靠。”陳奇指出。
Hadoop本身不提供分析的功能，因此BigInsights平臺增加了文本分析、統(tǒng)計分析工具。目前，丹麥能源企業(yè)維斯塔斯（Vestas）通過使用 BigInsights大數(shù)據(jù)軟件分析P字節(jié)級別的天氣數(shù)據(jù)，改善風(fēng)力渦輪機的放置位置，從而獲得最佳能量輸出效果--以前需要數(shù)周方可完成的分析現(xiàn)在僅需不到一個小時。
Streams監(jiān)控嬰兒ICU感染
InfoSphere Streams是一款滿足即時處理、過濾和分析流數(shù)據(jù)需要的應(yīng)用程序。流數(shù)據(jù)包括傳感器數(shù)據(jù)（環(huán)保以及工業(yè)生產(chǎn)傳感器產(chǎn)生的數(shù)據(jù)、監(jiān)控視頻、GPS產(chǎn)生的數(shù)據(jù)等）、“數(shù)據(jù)廢氣”（如網(wǎng)絡(luò)/系統(tǒng)/Web服務(wù)器/應(yīng)用程序服務(wù)器日志文件）、高速交易數(shù)據(jù)（如金融交易和呼叫詳細(xì)記錄）等。
Streams最早是美國國土安全部和IBM合作的項目，國土安全部出于反恐目的，需要實時分析電話語音信息，這個項目最終發(fā)展成為一個商用的項目。
目前，安大略理工大學(xué)正在使用Streams監(jiān)控新生嬰兒，提前24小時預(yù)測ICU感染。“數(shù)據(jù)到來時，你只想看一眼，然后就可以讓它走。”陳奇說，Streams提供了一種操作系統(tǒng)實現(xiàn)這個功能，在多臺計算機之間共享一個特定程序，這樣系統(tǒng)作為一個整體就可以在不把數(shù)據(jù)提交到硬盤的情況下生成答案。
對于企業(yè)來說，有了大數(shù)據(jù)分析平臺，是否就意味著廢棄此前的數(shù)據(jù)倉庫呢？陳奇表示，大數(shù)據(jù)分析平臺并不能取代傳統(tǒng)的數(shù)據(jù)倉庫，一方面是因為技術(shù)成熟度，比如Hadoop的技術(shù)還不夠成熟，另一方面是具體的業(yè)務(wù)需求問題，所以BigInsights和Streams是數(shù)據(jù)倉庫的補充，而不是代替數(shù)據(jù)倉庫的產(chǎn)品。
- 華為2024年銷售收入超8600億元，多業(yè)務(wù)板塊齊頭并進(jìn)
- 國內(nèi)首個省級旅游AI智能體“AI游貴州”發(fā)布，馬蜂窩助力貴州開啟智慧文旅新篇章
- 2024年終盤點 | 華為以“技術(shù)為根、實戰(zhàn)為魂”，助力高校，培養(yǎng)千萬數(shù)智人才
- 余承東2025年全員信：通過海量鴻蒙設(shè)備，拉動中國電子工業(yè)崛起
- 速通 NVIDIA 專業(yè)顯卡：專業(yè)顯卡有哪些優(yōu)勢？適合什么場景？
- 馬蜂窩跨年出行預(yù)測：儀式感必不可少，“跨年煙花”帶動目的地?zé)岫壬蠞q
- 30億元！比亞迪捐資興教推動中國科教進(jìn)步
- 閉著眼睛寫代碼是一種什么樣的體驗？
- 2024世界顯示產(chǎn)業(yè)大會啟幕，4K花園自研“滿天星”獲十大創(chuàng)新應(yīng)用
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
