大數(shù)據(jù)工具指南：從選擇到應(yīng)用

通過(guò)部署和使用大數(shù)據(jù)分析工具，分析流程可以幫助公司提高運(yùn)營(yíng)效率，產(chǎn)生新的利潤(rùn)，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。企業(yè)可選擇的數(shù)據(jù)分析應(yīng)用程序有很多。比如描述性分析善于描述已發(fā)生的事情，揭示因果關(guān)系。描述性分析主要輸出查詢(xún)、報(bào)表和歷史數(shù)據(jù)可視化。

另外，更復(fù)雜的預(yù)測(cè)模型和規(guī)范模型可以幫助企業(yè)獲得商機(jī)，做出影響市場(chǎng)戰(zhàn)略，提升客戶(hù)體驗(yàn)，避免設(shè)備故障的決定。在預(yù)測(cè)分析中，歷史數(shù)據(jù)集有了預(yù)測(cè)分析，歷史數(shù)據(jù)集可用于分析未來(lái)的狀況和行為，規(guī)范分析承接預(yù)測(cè)分析，建議決策者采取某種行為。在很多情況下，先進(jìn)的分析程序由于處理和數(shù)據(jù)存儲(chǔ)的需求過(guò)高，限制了它的發(fā)展，但這些缺點(diǎn)也不是不可克服的。大數(shù)據(jù)平臺(tái)和大數(shù)據(jù)分析工具的流行，讓預(yù)測(cè)分析和規(guī)范分析也能通過(guò)擴(kuò)展，處理來(lái)自廣泛數(shù)據(jù)源的大量數(shù)據(jù)集。

大數(shù)據(jù)分析意味著什么？

本質(zhì)上，大數(shù)據(jù)分析工具是能夠支持運(yùn)行在大數(shù)據(jù)計(jì)算平臺(tái)上的預(yù)測(cè)分析應(yīng)用程序和規(guī)范分析應(yīng)用程序的軟件產(chǎn)品。一般我們所說(shuō)的都是基于商業(yè)服務(wù)器集群，可擴(kuò)展的分布式存儲(chǔ)和技術(shù)的并行處理系統(tǒng)，比如Hadoop和NoSQL數(shù)據(jù)庫(kù)。這些工具可以幫助用戶(hù)快速分析大規(guī)模數(shù)據(jù)，有時(shí)能做到實(shí)時(shí)分析。

另外，大數(shù)據(jù)分析工具提供了使用數(shù)據(jù)挖掘技術(shù)分析數(shù)據(jù)、發(fā)現(xiàn)類(lèi)型、使用分析模型的框架，來(lái)認(rèn)識(shí)和應(yīng)對(duì)特定的數(shù)據(jù)類(lèi)型，提高業(yè)務(wù)流程。例如，大量的運(yùn)輸數(shù)據(jù)，交通數(shù)據(jù)流，天氣數(shù)據(jù)和供應(yīng)商歷史數(shù)據(jù)都可以用不同的數(shù)據(jù)模型來(lái)進(jìn)行分析，用于優(yōu)化特定地域內(nèi)的運(yùn)輸線(xiàn)路，降低送貨延誤或損壞貨物的風(fēng)險(xiǎn)。

大數(shù)據(jù)分析工具可以消化廣泛的數(shù)據(jù)種類(lèi)，包括結(jié)構(gòu)化數(shù)據(jù)，比如關(guān)系型數(shù)據(jù)庫(kù)中存儲(chǔ)的交易數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)，比如Web服務(wù)器或移動(dòng)應(yīng)用程序文件，和非結(jié)構(gòu)化數(shù)據(jù)，比如文本文件、文檔、電子郵件、文本信息和社交媒體信息等。

大數(shù)據(jù)和高級(jí)分析工具

下面來(lái)介紹一下大數(shù)據(jù)分析的廠(chǎng)商，很多廠(chǎng)商提供支持分析流程的大數(shù)據(jù)平臺(tái)和工具，比如數(shù)據(jù)集成、數(shù)據(jù)準(zhǔn)備和其他類(lèi)型的數(shù)據(jù)管理軟件。我們關(guān)注能夠滿(mǎn)足下列要求的工具：

1）能應(yīng)用高級(jí)的分析算法和模型提供分析

2）以大數(shù)據(jù)平臺(tái)為引擎，比如Hadoop或其他高性能分析系統(tǒng)

3）能夠適用于多種數(shù)據(jù)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)

4）隨著用于分析模型的數(shù)據(jù)的增加，能夠?qū)崿F(xiàn)擴(kuò)展

5）分析模型可以，或者已經(jīng)集成到數(shù)據(jù)可視化工具

6）能夠和其他技術(shù)集成

另外，工具必須包含必備的一些功能，包括集成算法和支持?jǐn)?shù)據(jù)挖掘技術(shù)，包括（但不限于）：

1）集群和細(xì)分：把一個(gè)大的實(shí)體分割擁有共同特征的小團(tuán)體。比如分析收集來(lái)的客戶(hù)，確定更細(xì)分的目標(biāo)市場(chǎng)。

2）分類(lèi)：把數(shù)據(jù)組織進(jìn)預(yù)定類(lèi)別。比如根據(jù)細(xì)分模型決定客戶(hù)改如何進(jìn)行分類(lèi)。

3）恢復(fù)：用于恢復(fù)從屬變量和一個(gè)及一個(gè)以上獨(dú)立變量之間的關(guān)系，幫助決定從屬變量如何根據(jù)獨(dú)立變量的變化而變化。比如使用地理數(shù)據(jù)、凈收入、夏日平均溫度和占地面積預(yù)測(cè)財(cái)產(chǎn)的未來(lái)走向。

4）聯(lián)合和項(xiàng)目集挖掘：在大數(shù)據(jù)集中尋找變量之間的相關(guān)關(guān)系。比如它可以幫助呼叫中心代表提供基于呼叫者客戶(hù)細(xì)分、關(guān)系和投訴類(lèi)型的更精準(zhǔn)的信息。

5）相似性和聯(lián)系：用于非直接的集群算法。相似性積分算法可用于決定備用集群中實(shí)體的相似性。

6）神經(jīng)網(wǎng)絡(luò)：用于機(jī)器學(xué)習(xí)的非直接分析。

這只是預(yù)測(cè)分析和規(guī)范分析的子集。另外，不同的供應(yīng)商很可能提供不同的算法支持不同的方式。

高級(jí)分析市場(chǎng)

高級(jí)分析工具市場(chǎng)隨著時(shí)間發(fā)展不斷進(jìn)步，不同成熟度的工具類(lèi)型都可選擇。有些來(lái)自歷史悠久的傳統(tǒng)廠(chǎng)商，比如IBM、Oracle和SAS。也有廠(chǎng)商通過(guò)收購(gòu)有一定歷史的工具，增強(qiáng)實(shí)力，比如微軟、戴爾、Teradata 和SAP。

一些小公司也提供大數(shù)據(jù)分析產(chǎn)品，包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner，有時(shí)公司會(huì)開(kāi)發(fā)自己的算法。其他采用了開(kāi)源算法R語(yǔ)言，提供預(yù)測(cè)模型和規(guī)范模型能力，或使用開(kāi)源Weka項(xiàng)目軟件。

第三類(lèi)產(chǎn)品就是開(kāi)源技術(shù)。之前提到的R語(yǔ)言就是一個(gè)例子，還有Hadoop下的Mahout軟件，以及Weka。

在一些情況下，尤其是大廠(chǎng)商，大數(shù)據(jù)工具往往被打包到大數(shù)據(jù)套裝中。其他情況下，大數(shù)據(jù)工具會(huì)單獨(dú)出售。在后者，客戶(hù)需要自己將工具和已有的大數(shù)據(jù)平臺(tái)集成起來(lái)。大多數(shù)的工具都提供虛擬化界面指導(dǎo)分析流程，比如數(shù)據(jù)挖掘與發(fā)現(xiàn)分析，模型的判斷和積分，與運(yùn)營(yíng)環(huán)境集成。在大多數(shù)情況下，供應(yīng)商都提供幫助客戶(hù)搭建和運(yùn)行軟件的指導(dǎo)和服務(wù)。

誰(shuí)在使用大數(shù)據(jù)和高級(jí)分析工具？

企業(yè)里的一些人著眼于探索設(shè)計(jì)新型預(yù)測(cè)性模型，另一些人關(guān)注將這些模型嵌入他們的商業(yè)流程中，還有一些人想要理解這些工具會(huì)給他們的業(yè)務(wù)帶來(lái)什么整體變化。

數(shù)據(jù)科學(xué)家們，他們想使用更復(fù)雜的數(shù)據(jù)類(lèi)型實(shí)現(xiàn)更復(fù)雜的分析，熟知如何設(shè)計(jì)，如何應(yīng)用基礎(chǔ)模型來(lái)評(píng)估內(nèi)在傾向性或偏差。

業(yè)務(wù)分析師，他們更像是隨性的用戶(hù)，想要用數(shù)據(jù)來(lái)實(shí)現(xiàn)主動(dòng)數(shù)據(jù)發(fā)現(xiàn)，或者實(shí)現(xiàn)現(xiàn)有信息和部分預(yù)測(cè)分析的可視化。

企業(yè)經(jīng)理，他們想要了解模型和結(jié)論。

IT開(kāi)發(fā)人員，他們?yōu)橐陨纤蓄?lèi)用戶(hù)提供支持。

所有這些角色通常都會(huì)在模型發(fā)展生命周期中共同合作。數(shù)據(jù)科學(xué)家將一套大數(shù)據(jù)集置于無(wú)目標(biāo)分析的條件下，然后觀(guān)察那種模式符合商業(yè)利益。在與業(yè)務(wù)分析師一起檢查模型工作方式，并評(píng)估出發(fā)現(xiàn)的每個(gè)模型或模式對(duì)于企業(yè)存在何種潛在積極效應(yīng)，企業(yè)經(jīng)理和IT小組這個(gè)時(shí)候就需要介入，來(lái)將模型嵌入或?qū)⒛Ｐ驼线M(jìn)商業(yè)流程，或者圍繞該模型設(shè)計(jì)新流程。

但是從市場(chǎng)角度來(lái)說(shuō)，考慮環(huán)繞大數(shù)據(jù)分析的業(yè)務(wù)種類(lèi)是很有趣的。。許多大數(shù)據(jù)技術(shù)的早期用戶(hù)都是網(wǎng)絡(luò)公司（例如，Google，Yahoo，F(xiàn)acebook，LinkedIn和Netflix）或者分析服務(wù)提供商。這些公司都依賴(lài)運(yùn)行性和分析型應(yīng)用，這些應(yīng)用需要引入高速數(shù)據(jù)流來(lái)進(jìn)行處理、分析然后將結(jié)果反饋以持續(xù)改善表現(xiàn)。

在更為主流的產(chǎn)業(yè)中，對(duì)于數(shù)據(jù)擴(kuò)展的胃口也越來(lái)越大，大數(shù)據(jù)分析也在這些更為普遍的企業(yè)人口中找到了位置。在過(guò)去，大規(guī)模分析平臺(tái)的成本因素使得只有超大型公司才能實(shí)現(xiàn)。但是，通用型主導(dǎo)的大數(shù)據(jù)平臺(tái)越來(lái)越平易近人（如那些通過(guò)亞馬遜網(wǎng)頁(yè)服務(wù)實(shí)現(xiàn)的），而能實(shí)現(xiàn)大數(shù)據(jù)具象呈現(xiàn)的平臺(tái)也越來(lái)越多，像Hadoop本地一樣不需要大量投資，降低的準(zhǔn)入門(mén)檻。此外，開(kāi)放數(shù)據(jù)集和社交媒體渠道提供的救火管數(shù)據(jù)供給的可獲取程度為與內(nèi)部數(shù)據(jù)集相混合的大規(guī)模數(shù)據(jù)分析準(zhǔn)備了原材料。

大型企業(yè)可能還是會(huì)選擇高端大數(shù)據(jù)分析工具，但是低成本替代品在更加符合成本效益的平臺(tái)上運(yùn)作，使得中小企業(yè)得以評(píng)估和啟動(dòng)大數(shù)據(jù)分析恒旭，并取得預(yù)期的商業(yè)發(fā)展成果。

現(xiàn)在我們已經(jīng)分析過(guò)了不同類(lèi)型的工具和他們的用戶(hù)，下一步就是要確定怎樣用這些工具為公司謀利?？匆豢磳?duì)于大數(shù)據(jù)分析不同案例下的使用，你就能開(kāi)始理解如何權(quán)衡一般大數(shù)據(jù)分析能力來(lái)創(chuàng)造和增加價(jià)值。

作者：David Loshin ? ?翻譯：Eunice ? ?來(lái)源：TechTarget

End.

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。