雙十一大數(shù)據(jù)處理要控制成本

作者：中關(guān)村在線

在大數(shù)據(jù)時(shí)代，最不缺伐的就是峰值流量的出現(xiàn)。一旦出現(xiàn)降價(jià)、打折或者平臺(tái)周年慶，當(dāng)日的峰值流量將可能刷新平臺(tái)服務(wù)器承載上限，而這也意味著多種壓力共同提升，其中最容易被忽視的一部分在于數(shù)據(jù)。因?yàn)楫?dāng)天數(shù)據(jù)量會(huì)爆炸，如果不及時(shí)處理，這些數(shù)據(jù)的核心價(jià)值將會(huì)隨之而降低。

流量峰值帶來數(shù)據(jù)爆炸

從去年的數(shù)據(jù)來看，我國電商業(yè)務(wù)的交易額達(dá)到了22.97萬億元，同比增長(zhǎng)25.5%。這種增長(zhǎng)率也意味著數(shù)據(jù)量飆升，從服務(wù)器、網(wǎng)絡(luò)、物流、售后和品控等多個(gè)方面的數(shù)據(jù)都會(huì)產(chǎn)生壓力。

服務(wù)器與網(wǎng)絡(luò)的數(shù)據(jù)壓力將首當(dāng)其沖。每次活動(dòng)前夕，程序員幾乎都要徹夜難眠，有時(shí)需要靠”玄學(xué)”祈禱才能幫助服務(wù)器度過難關(guān)。即便云服務(wù)器準(zhǔn)備再充分，擴(kuò)容再強(qiáng)，也很難保證千軍萬馬同一秒沖入活動(dòng)界面時(shí)不會(huì)出問題。

商業(yè)促銷是各種數(shù)據(jù)的爆炸點(diǎn)

相應(yīng)的，商業(yè)促銷也會(huì)帶動(dòng)物流方面的數(shù)據(jù)的爆炸。去年我國快遞企業(yè)營收為4005億元，同比2015年增長(zhǎng)44.6%。如此大量的訂單不僅存在的交通、工作人員等方面的難題，還有物流信息的處理、同步和管理等大量的難題。

品控和售后是對(duì)平臺(tái)品牌的保障，如果這兩步出了問題，那么平臺(tái)就會(huì)面臨口碑下滑，甚至活動(dòng)起到相反的效果。而在活動(dòng)期間，進(jìn)行品控和售后都絕非簡(jiǎn)單，這些數(shù)據(jù)的產(chǎn)生和消化都在考驗(yàn)著工作人員和官方平臺(tái)的協(xié)調(diào)能力。

數(shù)據(jù)資源面臨時(shí)間考驗(yàn)

在這些方面產(chǎn)生的大量數(shù)據(jù)之后，把活動(dòng)期間產(chǎn)生的大數(shù)據(jù)簡(jiǎn)單的統(tǒng)計(jì)然后丟棄顯然是一種資源浪費(fèi)。想讓這些數(shù)據(jù)資源實(shí)現(xiàn)價(jià)值，在存儲(chǔ)、處理和分析等方面都存在不小的難題。

第一，活動(dòng)期間，企業(yè)將全面面臨人手不足的問題。因此程序員、運(yùn)維人員和系統(tǒng)管理人員常常顧此失彼，數(shù)據(jù)處理和分析人員又不能招收臨時(shí)工應(yīng)急，反還會(huì)被外借到其他部門去做緊急處理，從而讓大量的活動(dòng)峰值數(shù)據(jù)面臨擱置危機(jī)。

第二，活動(dòng)期間是一個(gè)數(shù)據(jù)爆發(fā)點(diǎn)，這些數(shù)據(jù)具有大流量、高并發(fā)和急需求等多種特點(diǎn)。原本慢條斯理的數(shù)據(jù)處理工作面臨轉(zhuǎn)瞬即逝的問題，簡(jiǎn)單來講這就像把一個(gè)月的工作堆積到一天去完成，數(shù)據(jù)處理難上加難。

第三，數(shù)據(jù)處理等不得。事實(shí)上，所有的大數(shù)據(jù)都具有等不得的特點(diǎn)，數(shù)據(jù)的價(jià)值保質(zhì)期僅有三個(gè)月，而以一些時(shí)效性較強(qiáng)的商業(yè)數(shù)據(jù)迭代速度更快，如果得不到處理，那么消耗大量資源存儲(chǔ)的商業(yè)數(shù)據(jù)自身價(jià)值就會(huì)急速下滑，對(duì)企業(yè)的指導(dǎo)作用都會(huì)相應(yīng)的下降。

數(shù)據(jù)處理要成本把控

平臺(tái)開展促銷活動(dòng)不僅僅是為用戶著想，也是對(duì)自身負(fù)載上限的一次考驗(yàn)。在未來幾年中，我國的物流行業(yè)將會(huì)進(jìn)入日均1億快件的節(jié)奏，這就意味著訂單量會(huì)爆發(fā)性增加，物流頻次加速，數(shù)據(jù)量繼續(xù)上升，數(shù)據(jù)處理的提速和降耗將會(huì)變成急需解決的問題。

數(shù)據(jù)處理提速目前提倡的是流式大數(shù)據(jù)處理，流式處理的優(yōu)勢(shì)在于借助開源的分布式系統(tǒng)，運(yùn)行數(shù)據(jù)流代碼時(shí)，分配數(shù)據(jù)到容錯(cuò)力高的計(jì)算機(jī)中并行運(yùn)行，從而達(dá)到低延遲、可擴(kuò)展和容錯(cuò)率高的目的。但這種處理方式最大的限制在于成本過高，尤其是對(duì)于超大量數(shù)據(jù)應(yīng)用流式數(shù)據(jù)處理會(huì)讓平臺(tái)得不償失，以此處理所得的數(shù)據(jù)價(jià)值未必比成本更高。

數(shù)據(jù)處理降耗則是指降低在數(shù)據(jù)處理過程中的人力和財(cái)力消耗。在促銷活動(dòng)期間，用人緊張導(dǎo)致人力資源價(jià)值提升，這就需要在數(shù)據(jù)價(jià)值和人力價(jià)值之間尋找平衡點(diǎn)；同時(shí)無法處理的數(shù)據(jù)在存儲(chǔ)和管理方面的成本也需要納入考慮范圍。

解決數(shù)據(jù)問題需要從多個(gè)層面來考慮：人力方面，數(shù)據(jù)價(jià)值是不可忽視的一部分，專業(yè)人從事專業(yè)事，讓人的價(jià)值最大化發(fā)揮；技術(shù)層面，將人工智能的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)技術(shù)深化與大數(shù)據(jù)技術(shù)的結(jié)合，讓人在大數(shù)據(jù)處理流程中只指揮，不執(zhí)行，把計(jì)算力還給云和HPC；數(shù)據(jù)層面，強(qiáng)化數(shù)據(jù)分流，將時(shí)效性明顯的數(shù)據(jù)優(yōu)先處理，并且有選擇的進(jìn)行數(shù)據(jù)清洗，降低存儲(chǔ)和管理成本，提高處理效率。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。