聽云：從APM出發(fā)，看電商“雙十一”驚人銷售額背后的技術(shù)挑戰(zhàn)

雙十一這個由電商創(chuàng)造出來的購物節(jié)自2009年首次舉辦，今年已經(jīng)進入到第九個年頭。也許當(dāng)初創(chuàng)辦“雙十一”只是抱著做一個促銷事件的初衷，而如今的“雙十一”則成為了一個自帶流量的全球性熱門IP，成為各大電商宣示其市場占有率、消費體驗、產(chǎn)品質(zhì)量、市場影響力的具有重大象征意義的“戰(zhàn)場”。

近日，2017年雙十一也落下了帷幕，我們可以看到今年的雙十一消費升級漸趨勢明顯，雙十一正努力褪去價格競爭的烙印，從低價策略轉(zhuǎn)向品牌策略，通過逐漸與品牌商以及服務(wù)鏈融合，向品質(zhì)消費、服務(wù)消費的新業(yè)態(tài)轉(zhuǎn)變。在當(dāng)前用戶的消費熱情和雙十一新鮮感的降低，以及隨著往年GMV越來越高的情況下，各家龍頭電商仍能再創(chuàng)新高實屬不易，其中阿里成交額為1682億元，京東成交額為1271億元。

在上述漂亮的銷售數(shù)字的背后，我們再來看一組數(shù)據(jù)，這是在2017年11月11日凌晨，天貓雙11全球狂歡節(jié)剛開場5分22秒產(chǎn)生的數(shù)據(jù)，支付峰值25.6萬筆/秒，數(shù)據(jù)庫處理峰值4200萬次/秒。其中4200萬次/秒的意思是，在支付峰值產(chǎn)生的那一秒里，平穩(wěn)處理了4200萬次請求數(shù)。我們可以發(fā)現(xiàn)，在這一組組漂亮數(shù)字的背后，是無數(shù)技術(shù)人員通宵保障的結(jié)果，今天，我們就從聽云視角，一步步走近各家電商在雙十一期間的“后臺狀況”

聽云根據(jù)多年對互聯(lián)網(wǎng)電商的服務(wù)經(jīng)驗，積累了一套“雙十一電商性能解決方案”，并在雙十一當(dāng)天的各家電商總部進行了現(xiàn)場駐場的重保服務(wù)。

京東——

“聽云的劫持監(jiān)控服務(wù)在本次雙十一保障項目中表現(xiàn)出色，及時有效報告劫持事件，幫助分析事件發(fā)生的時間、可能造成的影響，配合統(tǒng)計分析劫持?jǐn)?shù)據(jù)，協(xié)助劫持溯源工作，順利完成雙十一安全保障工作。”

在今年618大促時，京東的訪問量、訂單量已經(jīng)突破以往歷年的量，因此預(yù)計到2017年雙十一將會突破歷史，創(chuàng)造新的業(yè)務(wù)量高峰，這對于技術(shù)而言一定會迎來新的業(yè)務(wù)挑戰(zhàn)。同時劫持一直是京東安全部門關(guān)心的重點問題，作為電商中的翹楚，京東也是運營商劫持的重點對象。

前期準(zhǔn)備：

1.從今年9月開始，京東便進入雙十一備戰(zhàn)階段，為了應(yīng)對此次雙十一可能帶來的歷史級業(yè)務(wù)量峰值，京東前期先后通過新增幾百臺設(shè)備、新增自建CDN節(jié)點、增加了國內(nèi)、海外等多個節(jié)點以迎接新的挑戰(zhàn)。

2.對于劫持問題，為了減少劫持?jǐn)?shù)量，京東推動全站https化，截止到十月底PC頁面的https比例已過90%，m站和APP已經(jīng)超過99%。

雙十一當(dāng)天：

在雙十一當(dāng)天，京東使用了聽云Network重點監(jiān)測了CDN加速效果和各關(guān)鍵頁面的劫持情況。

1.其中,CDN主要關(guān)注全國各地區(qū)的靜態(tài)資源下載時間、網(wǎng)絡(luò)鏈路質(zhì)量（DNS時間、建連時間、首包時間）。在11月11日20點一波較大促銷過后，通過監(jiān)測數(shù)據(jù)發(fā)現(xiàn)某CDN廠商一個邊緣節(jié)點質(zhì)量出現(xiàn)異常，首包時間明顯增加，在與廠商溝通過進行了及時調(diào)整，確保大促的正常進行。

2.同時，劫持情況是安全部門關(guān)心的重點。雙十一重保期間，通過聽云，京東每四個小時匯總DNS劫持和鏈路劫持?jǐn)?shù)據(jù)，交給安全部門，協(xié)調(diào)渠道與運營商溝通解決，取得了明顯效果，一些時間段的劫持比例甚至接近0。

蘇寧——

“聽云在此次雙十一駐場工作中盡職盡責(zé)，給予好評。”

作為2017年終最重要的一次促銷活動，蘇寧在此次雙十一中提出了“零事故”的目標(biāo)，即全面投入、全面聚焦、全力打響2017年的最后沖刺戰(zhàn)。蘇寧針對此次大促分別做了前端保障、APP運維、網(wǎng)絡(luò)支撐以及服務(wù)監(jiān)控這四方面的保障措施。

蘇寧性能保障舉措

前期準(zhǔn)備：

在雙十一當(dāng)天，為了實現(xiàn)“零事故”的目標(biāo)，蘇寧對兩部分的內(nèi)容進行了重點監(jiān)測：第一是PC端監(jiān)測，主要為消費者中心核心頁面、消費者中心核心接口、大盤監(jiān)控(專用)；第二是真機端監(jiān)測，主要為蘇寧各大類商城的手機頁面監(jiān)測。

雙十一當(dāng)天：

在雙十一期間，通過當(dāng)天真機監(jiān)測出“消費者-WAP-蘇寧家電任務(wù)”出現(xiàn)大面積劫持現(xiàn)象，導(dǎo)致該區(qū)域可用性低于30%。但經(jīng)過聽云排查后發(fā)現(xiàn),是相關(guān)人員配置域名白名單時出錯，導(dǎo)致劫持的誤報，最后聽云現(xiàn)場駐場人員及時修正劫持配置，保障了該任務(wù)在實際出現(xiàn)網(wǎng)絡(luò)問題時能夠及時告警。

CDN方面，通過聽云Network中國地圖等大屏工具實時監(jiān)測到全國各地區(qū)各網(wǎng)絡(luò)環(huán)境下真實的訪問情況，并對CDN的服務(wù)質(zhì)量進行實時分析，真正做到有問題即時告警。

聚美——

“監(jiān)控對我們運維而言，非常的重要，能夠第一時間發(fā)現(xiàn)問題，快速定位問題。聽云就是運維人的眼睛。”

聚美優(yōu)品是一家深受千萬用戶信賴的全球領(lǐng)先化妝品限時特賣網(wǎng)站。作為女性的“必需品”，本身產(chǎn)品就是特賣的價格，再加上雙十一期間的雙重優(yōu)惠，勢必會有很多流量同時涌入，這給聚美的后端架構(gòu)帶來了極大的壓力。其中在雙十一當(dāng)天，隨著訪問量的不斷增加，峰值并發(fā)已經(jīng)達到了日常量的幾十倍，所以如何盡量保證所有業(yè)務(wù)在雙十一當(dāng)天的穩(wěn)定性就成為了后臺運維人員的頭等大事。

聚美對于用戶體驗的重視由來已久，因此聚美優(yōu)品針對業(yè)務(wù)重點在雙十一前做了如下準(zhǔn)備：

1.根據(jù)推廣及業(yè)務(wù)量的評估來對業(yè)務(wù)機器擴容，同時使用k8s對Docker容器進行調(diào)度，以保證幾千個容器能在短時間內(nèi)同時上線。

2.測試人員通過壓力測試來盡早暴露風(fēng)險點。

3.在大促當(dāng)天，CDN流量肯定要比日常要高出十幾倍，因此提前通知廠商預(yù)留帶寬、提前預(yù)熱，以減少源站壓力。

4.通過聽云Network監(jiān)測CDN質(zhì)量問題，聽云技術(shù)服務(wù)人員與CDN廠商服務(wù)人員建立線上溝通，當(dāng)聽云定位出問題會及時通知CDN廠商，以達到在雙十一活動前對CDN質(zhì)量進行調(diào)優(yōu)的目的。

5.通過聽云App發(fā)現(xiàn)聚美APP中的問題，如接口性能問題、錯誤率等，幫助聚美的運維研發(fā)人員可以在大促活動前及時將問題修復(fù)。

雙十一當(dāng)天：

網(wǎng)絡(luò)問題是不可預(yù)知的，尤其是在高并發(fā)、高流量的雙十一活動期間，盡管聽云已經(jīng)幫助聚美盡可能的將自身性能做到了最好，但是在大促過程中仍然暴露出了一些問題：

11月11日0點一過，來自全球各地區(qū)的用戶紛紛涌入聚美APP和官網(wǎng)，瞬時的高流量給CDN線路帶來了大量的沖擊，盡管事先已經(jīng)做了一定的調(diào)優(yōu)，但是仍然造成了CDN的不穩(wěn)定波動、機房的可用性降低等問題。通過聽云的及時發(fā)現(xiàn)并積極的與CDN廠商溝通，最終確保了雙十一當(dāng)天網(wǎng)絡(luò)狀況的穩(wěn)定。

當(dāng)當(dāng)網(wǎng)——

“雙十一大促當(dāng)當(dāng)網(wǎng)順利完成，各項銷售指標(biāo)創(chuàng)新高，感謝聽云對當(dāng)當(dāng)網(wǎng)的支持保障。”

當(dāng)當(dāng)網(wǎng)自創(chuàng)立至今，已從早期線上賣書拓展到賣各品類百貨，其中當(dāng)當(dāng)嬰童已經(jīng)發(fā)展為當(dāng)前嬰童垂直領(lǐng)域中國最大的線上商店。今年的雙十一活動，當(dāng)當(dāng)旨在繼續(xù)打破去年創(chuàng)下的各項銷售指標(biāo)，為此在雙十一當(dāng)天同時推出了多種優(yōu)惠促銷活動。而優(yōu)惠促銷即意味著大量的人群涌入。

前期準(zhǔn)備：

當(dāng)當(dāng)網(wǎng)在大促前提前準(zhǔn)備了壓力測試，這樣的預(yù)防措施也使得在11月10日晚10點之后訪問量突然激增這樣的突發(fā)事件得以平穩(wěn)渡過。

雙十一當(dāng)天：

在活動當(dāng)天，當(dāng)當(dāng)網(wǎng)PC端雙11主會場發(fā)生了較為嚴(yán)重的劫持情況，其中主要集中在電信運營商，通過積極與運營商聯(lián)系最終得到妥善解決。

同時隨著移動端業(yè)務(wù)在當(dāng)當(dāng)網(wǎng)中的實際占比越來越高，當(dāng)當(dāng)網(wǎng)也逐漸將維護重心轉(zhuǎn)向移動端。在雙十一當(dāng)天，當(dāng)當(dāng)APP出現(xiàn)了啟動時間增加的性能問題，經(jīng)過聽云仔細排查定位，發(fā)現(xiàn)是由于啟動屏中圖片體積較大所導(dǎo)致的，通過優(yōu)化圖片體積等方式解決了這類問題，及時保證了大促當(dāng)天的平穩(wěn)進行。

寺庫——

“聽云，保障雙11順利進行。”

寺庫，作為國內(nèi)奢侈品電商領(lǐng)域的領(lǐng)導(dǎo)者，在2016年首次參加雙十一并取得出色的戰(zhàn)果后，今年繼續(xù)加大優(yōu)惠力度。近年來隨著用戶消費觀念趨于理性和品牌化，寺庫受到的關(guān)注也越來越多。同時寺庫的客單值更高，每一位用戶都是寺庫眼中的VIP，因此寺庫對于雙十一期間的用戶體驗格外重視。

前期準(zhǔn)備：

由于重視每一位用戶的特性，寺庫在雙十一活動前期制定了一系列性能優(yōu)化策略，其中包括對圖片域名的響應(yīng)時間、Shopping域名下接口的響應(yīng)時間、錯誤率警報等關(guān)鍵性能指標(biāo)做了預(yù)警處理，可以在問題出現(xiàn)時第一時間報警，減少由此帶來的損失

雙十一當(dāng)天：

在雙十一當(dāng)天，由于之前寺庫的直接受眾人群較少，對于如此高流量訪問沖擊的應(yīng)對經(jīng)驗不足，出現(xiàn)了網(wǎng)站登錄頁無法建連的css元素錯誤。經(jīng)過聽云的分析及定位，最終確定錯誤集中出現(xiàn)在在區(qū)域運營商的某一主機下，發(fā)現(xiàn)是受后端搜索業(yè)務(wù)耗時影響導(dǎo)致的搜索頁面訪問時間增加，進而幫助寺庫調(diào)整了該主機。

酒仙網(wǎng)——

“雙十一前期準(zhǔn)備重點在服務(wù)器端的優(yōu)化，承載能力代碼效率提升，雙十一當(dāng)天會對網(wǎng)絡(luò)進行微調(diào)，服務(wù)資源進行臨時增加，代碼不會再做修改?！?/p>

酒仙網(wǎng)，作為國內(nèi)領(lǐng)先的酒類電商平臺，具有周期性明顯、節(jié)日氣氛濃厚的流量特性。此次的雙十一，作為電商在年終最后一次大規(guī)模的促銷活動，對于提升全年銷售額、清理庫存等方面有著重要的作用。酒仙網(wǎng)在去年也打出了“健康雙十一”的理念，但這并不代表酒仙網(wǎng)就此放棄雙十一，相反，對于“健康”的理解，也應(yīng)用到了網(wǎng)站健康上。

前期準(zhǔn)備：

為了能夠在不出任何差錯的情況下完成對去年的超越，酒仙網(wǎng)在雙十一前期做了以下三點準(zhǔn)備：

1.在“雙十一”前一個月左右對業(yè)務(wù)官網(wǎng)進行壓力測試，以保證網(wǎng)站性能瓶頸可以得到及時的暴露和解決

2.針對于后端服務(wù)器，通過添加多個聽云Server探針，來保證可以實時采集到后端全量數(shù)據(jù)

3.安排運維及研發(fā)人員詳細的駐守時間表，保證每個時段有問題時能夠及時應(yīng)對。

雙十一當(dāng)天：

在雙十一當(dāng)天，聽云的技術(shù)人員到酒仙網(wǎng)總部進行了技術(shù)駐場，現(xiàn)場為酒仙網(wǎng)的后臺提供技術(shù)支持，主要做了以下5點：

1.將聽云Network監(jiān)測任務(wù)的頻率調(diào)整到5分鐘級別，更快發(fā)現(xiàn)網(wǎng)絡(luò)問題。

2.現(xiàn)場駐場人員或遠程人員實時進行報表刷新。

3.配置監(jiān)測大屏，提供一個全體工作人員交流的平臺。

4.聽云系統(tǒng)停止任何更新改動。

5.在當(dāng)天本身系統(tǒng)代碼不會再進行調(diào)整，同時對網(wǎng)絡(luò)和CDN云服務(wù)等第三方進行嚴(yán)格監(jiān)控，以防出現(xiàn)自身不可控的問題。

可以看出，雖然“雙十一”當(dāng)天的銷售額仍在增長，但是隨著“阿里系”市場份額的降低，電商行業(yè)競爭仍在加劇。換句話說，如今電商之間的戰(zhàn)爭不再是銷售額大小的比對，而是流量、用戶的比較，而且照目前的趨勢來看，用戶正在變得越來越貴。

在這樣重要的時間段如果出現(xiàn)如網(wǎng)頁打不開、APP崩潰的嚴(yán)重的性能問題，不只是使銷售額大量縮水，更是對品牌影響力的一個嚴(yán)重的打擊。那么如何保證在雙十一這樣一個具有決定性意義的電商大促節(jié)日下留住用戶，而不只是讓他們作為一個“一次性”的用戶。在這條路上，聽云會在現(xiàn)在的基礎(chǔ)上，與各家電商共同探討更深層次的電商企業(yè)用戶體驗之道。

2017年11月21日 于上海

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。