過半電商網(wǎng)站訪問量來自爬蟲！“爬蟲AI化”給防控威脅帶來新挑戰(zhàn)

8月6日消息，近日，負(fù)責(zé)支持和保護(hù)網(wǎng)絡(luò)生活的云服務(wù)提供商Akamai發(fā)布的最新SOTI報(bào)告《侵蝕您的利潤：網(wǎng)絡(luò)爬蟲程序?qū)﹄娚绦袠I(yè)有何影響》顯示，在針對(duì)電商網(wǎng)站的69億次請(qǐng)求進(jìn)行分析時(shí)發(fā)現(xiàn)，人類訪問行為占據(jù)了49%，即接近一半的訪問量來自真實(shí)用戶，而剩余的略多于一半則是由各類機(jī)器人“爬蟲”完成的。其中，高風(fēng)險(xiǎn)類別的爬蟲占據(jù)了總爬蟲活動(dòng)的27%，它們對(duì)企業(yè)的運(yùn)營構(gòu)成了嚴(yán)重威脅，可能執(zhí)行諸如撞庫、數(shù)據(jù)竊取、庫存惡意抓取等惡意行為。

爬蟲是“Robot”（機(jī)器人）的縮寫，它是一段能夠模擬正常用戶行為的代碼。與瀏覽器不同，爬蟲在執(zhí)行任務(wù)時(shí)更為高效且針對(duì)性強(qiáng)，能夠迅速抓取目標(biāo)信息。

業(yè)內(nèi)根據(jù)爬蟲行為性質(zhì)與影響，將爬蟲分為幾大類：善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利；中性爬蟲往往很嘈雜，盡管它們?nèi)匀皇呛戏ǖ模凰鼈儗?shí)際上是好機(jī)器人的一個(gè)子類別，包括不斷發(fā)送請(qǐng)求的合作伙伴機(jī)器人和其他頻繁調(diào)用程序API的機(jī)器人；而有害的爬蟲，則可能從事撞庫攻擊、庫存抓取等惡意行為，嚴(yán)重?fù)p害企業(yè)利益與安全。

那么，在電商環(huán)境中，不法分子如何利用爬蟲技術(shù)從中獲利呢？

通過爬蟲技術(shù)來搶購“全網(wǎng)最低價(jià)”商品，進(jìn)而倒賣賺取差價(jià)，是其中重要的一種獲利方式。首先，爬蟲會(huì)廣泛搜集銷售這些產(chǎn)品的網(wǎng)站數(shù)據(jù)，包括價(jià)格、庫存等關(guān)鍵信息。隨后，通過對(duì)比分析，找出價(jià)格最優(yōu)、優(yōu)惠力度最大的電商平臺(tái)?；谶@些信息，不法分子可能在另一個(gè)平臺(tái)上開設(shè)店鋪，以準(zhǔn)新或全新未開封的產(chǎn)品進(jìn)行轉(zhuǎn)售，利用價(jià)格優(yōu)勢(shì)實(shí)現(xiàn)盈利。

當(dāng)然，爬蟲帶來的問題遠(yuǎn)不止于此。對(duì)于電商網(wǎng)站而言，由于爬蟲與真實(shí)用戶的訪問量相當(dāng)，且爬蟲通常部署在云端或高性能服務(wù)器上，其訪問效率遠(yuǎn)超普通用戶。這導(dǎo)致電商網(wǎng)站在處理爬蟲請(qǐng)求時(shí)可能消耗大量資源，進(jìn)而影響正常用戶的訪問體驗(yàn)，降低網(wǎng)站轉(zhuǎn)化率。此外，爬蟲還可能干擾市場(chǎng)營銷分析工具的數(shù)據(jù)收集，導(dǎo)致決策依據(jù)失真。更糟糕的是，某些爬蟲專注于抓取特定產(chǎn)品頁面的深層鏈接，可能導(dǎo)致這些頁面因請(qǐng)求量過大而無法正常服務(wù)。

Akamai北亞區(qū)技術(shù)總監(jiān) 劉燁

Akamai北亞區(qū)技術(shù)總監(jiān)劉燁向TechWeb表示，電商領(lǐng)域爬蟲如此活躍背后，有幾個(gè)原因：

一是，在電商領(lǐng)域，設(shè)計(jì)或編寫一個(gè)爬蟲程序已變得相當(dāng)便捷，得益于互聯(lián)網(wǎng)上廣泛提供的“爬蟲即服務(wù)”（Scraper as a Service, SaaS）模式。這些服務(wù)不僅簡(jiǎn)化了爬蟲的開發(fā)流程，還提供了豐富的功能選項(xiàng)，從內(nèi)容抓取到數(shù)據(jù)分析一應(yīng)俱全。盡管它們中的大多數(shù)聚焦于中性爬蟲應(yīng)用，旨在幫助用戶進(jìn)行市場(chǎng)調(diào)研、競(jìng)品分析等非惡意活動(dòng)，但同時(shí)也需警惕其潛在的濫用風(fēng)險(xiǎn)。

二是，隨著技術(shù)的進(jìn)步，爬蟲服務(wù)日益智能化，融入了AI和機(jī)器學(xué)習(xí)技術(shù)，Bot變成了AI Botnets，它們能夠自動(dòng)從多個(gè)數(shù)據(jù)源抓取內(nèi)容，通過預(yù)設(shè)的邏輯進(jìn)行數(shù)據(jù)抽取與分析，最終輔助用戶制定競(jìng)爭(zhēng)策略、優(yōu)化產(chǎn)品定位及價(jià)格策略等。這種一站式解決方案，無論是對(duì)于尋求業(yè)務(wù)增長的合法用戶，還是意圖不當(dāng)?shù)膼阂馐褂谜撸继峁┝藰O大的便利。

需要注意的是，爬蟲越來越難以識(shí)別。特別是采用“無頭瀏覽器”等技術(shù)的爬蟲，能夠模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識(shí)別與攔截。同時(shí)，很多Botnets，尤其是AI Botnets，采用了多種“反封禁”策略，導(dǎo)致技術(shù)上識(shí)別變得更加困難。此外，爬蟲會(huì)不斷變化，防住一次后，下一次可能會(huì)出現(xiàn)變種，這對(duì)企業(yè)構(gòu)成了巨大的挑戰(zhàn)。傳統(tǒng)安全手段難以有效識(shí)別與攔截。這要求電商網(wǎng)站必須采取更為先進(jìn)的策略來區(qū)分正常訪問與惡意爬蟲。

對(duì)于企業(yè)和安全廠商來說，最大挑戰(zhàn)就是識(shí)別爬蟲的難度加大，管理和封禁這些爬蟲的難度也隨之增加。

對(duì)此，劉燁給電商企業(yè)利用和防控爬蟲技術(shù)提出兩步走建議：首先，要能夠識(shí)別Bot；其次，針對(duì)不同類型的Bot，采取相應(yīng)的應(yīng)對(duì)措施。

Akamai提出了雙重應(yīng)對(duì)策略：首先，在邊緣網(wǎng)絡(luò)層面，我們利用預(yù)定義的訪問異常特征和協(xié)議指紋來快速識(shí)別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標(biāo)移動(dòng)軌跡、鍵盤敲擊模式）和設(shè)備指紋，結(jié)合機(jī)器學(xué)習(xí)模型，進(jìn)一步細(xì)化識(shí)別精度，確保對(duì)潛在威脅的精準(zhǔn)打擊。例如，對(duì)于掃描漏洞、抓取內(nèi)容或竊取用戶信息的惡意爬蟲，采用更為嚴(yán)格的防護(hù)機(jī)制；而對(duì)于那些有助于提升網(wǎng)站質(zhì)量或服務(wù)的良性爬蟲，則采取更加靈活的管理策略。同時(shí)，Akamai采取更多自動(dòng)化策略。當(dāng)出現(xiàn)新的攻擊類型時(shí)，不需要人為干預(yù)，策略引擎能夠自動(dòng)部署新的策略，有針對(duì)性地阻止這些新攻擊。這是應(yīng)對(duì)快速變化的攻擊類型和產(chǎn)品演進(jìn)的重要措施。

Akamai以雙重應(yīng)對(duì)策略、邊緣網(wǎng)絡(luò)快速識(shí)別及機(jī)器學(xué)習(xí)精細(xì)化識(shí)別技術(shù)，不僅能夠有效抵御惡意爬蟲的侵害，還確保了電商網(wǎng)站的穩(wěn)定運(yùn)行與數(shù)據(jù)安全。隨著網(wǎng)絡(luò)威脅的不斷演變，Akamai將持續(xù)創(chuàng)新，為企業(yè)提供更加智能、高效的安全解決方案，引領(lǐng)行業(yè)安全標(biāo)準(zhǔn)的新高度。（果青）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。