21世紀(jì)以來,在互聯(lián)網(wǎng)高速發(fā)展的背景下,互聯(lián)網(wǎng)上的信息呈現(xiàn)暴發(fā)式的增加,對應(yīng)的提供人們檢索信息功能的搜索引擎也在飛速發(fā)展、更新和迭代。但現(xiàn)有的知名搜索引擎能夠觸及的互聯(lián)網(wǎng)內(nèi)容用九牛一毛來形容也毫不為過。為了給細分領(lǐng)域的客戶提供更優(yōu)質(zhì)的搜索體驗,建立一套自己的搜索引擎就十分重要了。建立一個搜索引擎一般來說需要做這樣幾件事:
1、利用網(wǎng)絡(luò)爬蟲自動下載網(wǎng)絡(luò)頁面;
2、對爬取結(jié)果建立高效快速的索引;
3、根據(jù)相關(guān)性對網(wǎng)絡(luò)進行準(zhǔn)確的排序。
目前的爬蟲技術(shù)一般分為兩種:通用網(wǎng)絡(luò)爬蟲和主題網(wǎng)絡(luò)爬蟲。通用網(wǎng)絡(luò)爬蟲一般盡可能多的采集頁面,而一般不關(guān)心被采集頁面的順序與頁面主題的相關(guān)性。Google和百度等具有大型搜索引擎的公司均采用通用網(wǎng)絡(luò)爬蟲。主題網(wǎng)絡(luò)爬蟲則根據(jù)一個已經(jīng)預(yù)定好的主題進行爬取采集,最終對采集結(jié)果進行匯總,其爬取頁面具有大量相關(guān)性。相對通用網(wǎng)絡(luò)爬蟲,主題網(wǎng)絡(luò)爬蟲所消耗的資源和網(wǎng)絡(luò)帶寬更少,所采集的主題相關(guān)性更強,頁面的利用率更高。
本期“安仔課堂”,ISEC實驗室的葉老師為大家詳細剖析下主題網(wǎng)絡(luò)爬蟲的幾個主要技術(shù)點。
一、遍歷算法
1738年,瑞典數(shù)學(xué)家歐拉( Leornhard Euler)解決了柯尼斯堡問題,由此,圖論誕生,歐拉也成為了圖論的創(chuàng)始人。圖由一些節(jié)點與連接這些節(jié)點的弧組成。我們可以把互聯(lián)網(wǎng)看成一張具有指向無數(shù)方向的浩瀚無邊的圖,每一張網(wǎng)頁為圖的一個節(jié)點,每個網(wǎng)頁中的超鏈接為圖中的弧。有了超鏈接,我們可以從任何一個網(wǎng)頁出發(fā),用圖的遍歷算法,自動訪問到每一個頁面,然后存儲所需要的信息。
圖的遍歷算法可以分為深度優(yōu)先搜索(Depth-First Search 簡稱DFS)和廣度優(yōu)先搜索(Breadth–First Search 簡稱BFS)。
由于深度優(yōu)先搜索的遍歷方式,在很多情況下會導(dǎo)致爬蟲在深度上過“深”地遍歷或者陷入黑洞,大多數(shù)爬蟲不采用深度優(yōu)先搜索,目前主題爬蟲比較常見的是廣度優(yōu)先搜索方式。
廣度優(yōu)先搜索遍歷URL策略的基本思路是:將新下載網(wǎng)頁中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊列的末尾。也就是指網(wǎng)絡(luò)爬蟲會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁,然后再選擇其中的一個鏈接網(wǎng)頁,繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。
圖1
如圖1,廣度優(yōu)先遍歷搜索(BFS)的訪問順序為:A->B->C->D->E->F->H->G->I 深度優(yōu)先搜索策略從起始網(wǎng)頁開始,選擇一個URL進入,分析這個網(wǎng)頁中的URL,選擇其中一個再進入。如此一個鏈接接著一個鏈接地抓取下去,一路走到黑,直到處理完一條路線之后再處理下一條路線。如圖1,深度優(yōu)先遍歷(DFS)的訪問順序為:A->B C D E->H->I F->G
不管是哪種方式,理論上都可以保證訪問到所有的節(jié)點。但是工程上基于穩(wěn)定性等要求一般采用的都是BFS方式。
二、網(wǎng)絡(luò)爬蟲
本文使用Python語言作為主開發(fā)語言。在Python中使用urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個表示遠程url的類文件對象,然后像本地文件一樣操作這個類文件對象來獲取遠程數(shù)據(jù)。
Python可以使用urllib請求頁面獲取網(wǎng)頁HTML信息,實現(xiàn)如下:
from urllib.request import urlopen
html = urlopen(‘http: www.baidu.com’)
得到源代碼后即可使用Xpath或者BeautifulSoup4解析HTML元素,提取所需要數(shù)據(jù)。以上,即完成一個簡單的Web數(shù)據(jù)采集流程。
但是具體的業(yè)務(wù)工程往往不是一個簡單的流程而已,有時候會采集非結(jié)構(gòu)化數(shù)據(jù),需要再由工程人員寫下載器,進行非結(jié)構(gòu)化數(shù)據(jù)的提取;有時候結(jié)構(gòu)化數(shù)據(jù)是異步加載,需要我們模擬加載的JavaScript代碼,再對服務(wù)器進行一次請求;對于需要代理才能訪問的網(wǎng)站,需要再添加代理IP;還有采集的效率等等一系列問題。
三、HTTP請求頭的設(shè)計
瀏覽器與服務(wù)器交互是基于超文本傳輸協(xié)議(HTTP,HyperText Transfer Protocol),HTTP是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。HTTP是一個基于TCP/IP通信協(xié)議來傳遞數(shù)據(jù)(HTML 文件, 圖片文件, 查詢結(jié)果等)。
在爬取網(wǎng)站內(nèi)容時,HTTP協(xié)議中請求頭的模擬至關(guān)重要,請求頭不正確將會導(dǎo)致目標(biāo)站點返回錯誤的狀態(tài)碼和無效的字符;例如在對某同城租房模塊的數(shù)據(jù)采集中,先是使用chrome瀏覽器請求租房頁面,查找到瀏覽器請求目標(biāo)站點的數(shù)據(jù)包,分析請求頭,然后模擬了一個類似的請求頭,代碼如下:
headers = [
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
}, # 請求頭1
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',
}, # 請求頭2
]
header = random.choice(headers) # 隨機選取請求頭
其中 'Connection': 'keep-alive', 建議保持打開狀態(tài)。
我們知道HTTP協(xié)議采用“請求-應(yīng)答”模式,當(dāng)使用普通模式,即非KeepAlive模式時,每個請求—應(yīng)答客戶端和服務(wù)器都要新建一個連接,完成之后立即斷開連接(HTTP協(xié)議為無連接的協(xié)議);當(dāng)使用Keep-Alive模式(又稱持久連接、連接重用)時,Keep-Alive功能使客戶端到服務(wù)器端的連接持續(xù)有效,當(dāng)出現(xiàn)對服務(wù)器的后繼請求時,Keep-Alive功能避免了建立或者重新建立連接。
http 1.0協(xié)議中默認是關(guān)閉的,需要在http頭加入"Connection: Keep-Alive",才能啟用Keep-Alive;http 1.1協(xié)議中默認啟用Keep-Alive,如果加入"Connection: close ",才關(guān)閉。目前大部分瀏覽器都是用http1.1協(xié)議,也就是說默認都會發(fā)起Keep-Alive的連接請求了,所以是否能完成一個完整的Keep- Alive連接就看服務(wù)器設(shè)置情況。
從上面的分析來看,啟用Keep-Alive模式肯定更高效,性能更高。因為避免了建立及釋放連接的開銷。
以上兩個HTTP請求頭分別來自不同的瀏覽器,用這種方式請求,在一定概率上,每次請求都會讓服務(wù)器以為是來自不同的瀏覽器發(fā)出的,使得服務(wù)器會返回完整的HTML頁面給爬蟲端,爬蟲端就可以做出相應(yīng)的解析,若是返回錯誤頁面、存在頁面、或者直接返回一串爬蟲無法解析的無效信息,那么提取數(shù)據(jù)從何談起。使用測試請求頭對爬取數(shù)據(jù)進行請求測試,若連接爬取多個頁面均無出現(xiàn)明顯錯誤,即可進入正式爬取階段。
但是使用模擬請求頭的方式對于異步Ajax加載的數(shù)據(jù)不好直接定位采集,需要對異步Ajax加載的位置進行請求的重新模擬,要先分析異步請求,再模擬加載請求再請求一次服務(wù)器,對于爬蟲系統(tǒng)來說是很消耗性能的。所以,一般如果采集多種異步數(shù)據(jù),可以采用自動化測試工具Selenium模擬瀏覽器。
Selenium 是什么?一句話,自動化測試工具。它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果你在這些瀏覽器里面安裝一個 Selenium 的插件,那么便可以方便地實現(xiàn)Web界面的測試;安裝一下 Python 的 Selenium 庫,再安裝好 PhantomJS,就可以實現(xiàn) Python+Selenium+PhantomJS 的一整套體系的連接了!PhantomJS 用來渲染解析JavaScirpy,Selenium 用來驅(qū)動以及與 Python 的對接,Python 進行后期的處理。
利用Selenium模擬的瀏覽器能夠更加逼真模擬真實Web請求環(huán)境,對于Ajax異步加載的數(shù)據(jù)可以快速定位。
但是在進行模擬爬取時,若觸發(fā)網(wǎng)站的防爬機制,那么就必須進行多IP的模擬和對爬取線程采取暫時暫停,兩者相結(jié)合的辦法來測試防爬機制的臨界點,對于多IP的模擬可以采取二分折半測試的辦法,先取一個比較長的暫停時間。然后如果能使程序正常進行就再縮短一倍時間,否則擴大一倍時間,直到有一個臨近的值或者區(qū)間,再對該臨界值或者區(qū)間取隨機數(shù)暫停爬取線程。
具體請求代碼如下:
def get_soup (url) :
logger.info('Prepare analytical this URL:')
logger.info(url)
print('準(zhǔn)備解析該鏈接:', url)
try:
try:
# 偽裝成瀏覽器
headers = [{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2',
}, {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/*,*/*;q=0.8',
'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
'Cache-Control': 'max-age=0',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17',
},
]
header = random.choice(headers)
# 使用代理IP
proxy_ips = [
{'http:': '117.90.3.226:9000'},
{'http:': '210.136.19.75:8080'},
{'http:': '118.186.219.164:8080'},
]
proxy_ip = random.choice(proxy_ips)
proxy_support = urllib.request.ProxyHandler(proxy_ip)
opener = urllib.request.build_opener(proxy_support)
urllib.request.install_opener(opener)
# 請求
sleep(0.2)
request = Request(url=url, headers=header)
sleep(0.3)
response = urlopen(request)
except (HTTPError, URLError) as e:
logger.error('URL Error or HTTPError:')
logger.error(e)
print("請求有問題", e)
return None
try:
the_page = response.read()
soup = BeautifulSoup(the_page, "html.parser")
# 判斷是否有驗證碼 (得到所有soup的title)
title_value = soup.title.string.encode('utf-8')
verification_code = "請輸入驗證碼".encode('utf-8')
if title_value == verification_code:
logger.warning(....verification_code now!!!!!')
sleep(2222)
# name = input("The bomb is about to explode,Please input your name:\n")
# print("Hello,", name)
soup = get_soup(url)
logger.warning('(warning)Revisit the link:')
logger.warning(url)
return soup
except AttributeError as e:
logger.error('AttributeError(Request soup)')
logger.error(e)
return None
return soup
except Exception as e:
logger.error('another Exception(Request soup)')
logger.error(e)
return None
四、HTML網(wǎng)頁的解析
爬蟲請求成功后,返回Soup,即HTML的源代碼。
HTML頁面中包含著大量的文本、鏈接、圖片等信息,所有的HTML都以,開始結(jié)束。所有的HTML源代碼中均包含著大量的如、
HTML文檔轉(zhuǎn)換為HTML DOM節(jié)點樹如圖2所示:
圖2
使用BeautifulSoup解析這段代碼,能夠得到一個 BeautifulSoup 的對象,并能按照標(biāo)準(zhǔn)的縮進格式的結(jié)構(gòu)輸出:
幾個簡單的瀏覽結(jié)構(gòu)化數(shù)據(jù)的方法:
將一段文檔傳入BeautifulSoup的構(gòu)造方法,就能得到一個文檔的對象, 可以傳入一段字符串或一個文件句柄。
在Beautiful Soup中最常用的函數(shù)為find_all()和find()。
find_all() 方法搜索當(dāng)前tag的所有tag子節(jié)點,并判斷是否符合過濾器的條件
find_all( name , attrs , recursive , text , **kwargs )
name 參數(shù)
name參數(shù)可以查找所有名字為name的tag,字符串對象會被自動忽略掉。搜索 name參數(shù)的值可以是任一類型的過濾器。
keyword 參數(shù)
如果一個指定名字的參數(shù)不是搜索內(nèi)置的參數(shù)名,搜索時會把該參數(shù)當(dāng)作指定名字tag的屬性來搜索,如果包含一個名字為id的參數(shù),Beautiful Soup會搜索每個tag的“id”屬性。
按CSS搜索
按照CSS類名搜索tag的功能非常實用,但標(biāo)識CSS類名的關(guān)鍵字 class 在Python中是保留字,使用class做參數(shù)會導(dǎo)致語法錯誤。從Beautiful Soup的4.1.1版本開始,可以通過 class_ 參數(shù)搜索有指定CSS類名的tag。
text 參數(shù)
通過text參數(shù)可以搜素文檔中的字符串內(nèi)容,與 name 參數(shù)的可選值一樣,text 參數(shù)接受字符串、正則表達式、列表、True。
limit 參數(shù)
find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹很大那么搜索會很慢。如果我們不需要全部結(jié)果,可以使用limit參數(shù)限制返回結(jié)果的數(shù)量。效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達到limit的限制時,就停止搜索返回結(jié)果。
find(name,attrs,recursive,text,**kwargs)
find_all() 方法將返回文檔中符合條件的所有tag,盡管有時候我們只想得到一個結(jié)果。比如文檔中只有一個標(biāo)簽,那么使用 find_all() 方法來查找標(biāo)簽就不太合適,,使用 find_all 方法并設(shè)置 limit=1 參數(shù)不如直接使用 find() 方法。
Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個復(fù)雜的樹形結(jié)構(gòu),每個節(jié)點都是一個Python對象,所有對象都可以歸為4個種類:Tag ,NavigableString ,BeautifulSoup , Comment 。所以在解析HTML時,即是在操作Beautiful Soup里頭的一個個Python對象。Beautiful Soup提供了強大的函數(shù)庫,所以任何HTML(或XML)文件的任意節(jié)點信息,都可以被提取出來,只要目標(biāo)信息的旁邊或附近有標(biāo)記即可。
數(shù)據(jù)經(jīng)過清洗過濾之后提取出來,寫入文本文件或者持久化到MySQL。對于已經(jīng)持久化到MySQL的數(shù)據(jù),一方面可以進一步對該主題數(shù)據(jù)進行數(shù)據(jù)挖掘,另一方面可以利用Java強大的Web處理能力展示數(shù)據(jù),利用純Javascript圖表庫ECharts, 進行數(shù)據(jù)的可視化展示。
廈門安勝網(wǎng)絡(luò)科技有限公司,廈門市美亞柏科信息股份有限公司控股子公司,是國內(nèi)領(lǐng)先的網(wǎng)絡(luò)安全檢測產(chǎn)品及服務(wù)提供商;秉承“創(chuàng)新為安,服務(wù)致勝”的經(jīng)營理念,專注于網(wǎng)絡(luò)安全類產(chǎn)品的生產(chǎn)與服務(wù)。
“ISEC實驗室”作為公司新技術(shù)和新產(chǎn)品的預(yù)研基地,秉承“我的安全,我做主”的理念,專注于網(wǎng)絡(luò)安全領(lǐng)域前沿技術(shù)研究,提供網(wǎng)絡(luò)安全培訓(xùn)、應(yīng)急響應(yīng)、安全檢測等服務(wù)。曾承接北京奧運會、上海世博會、廣州亞運會、杭州G20峰會、金磚“廈門會晤”等大型活動網(wǎng)絡(luò)安全保障工作。
未來,安勝將繼續(xù)以昂揚的姿態(tài)、在網(wǎng)絡(luò)安全領(lǐng)域不斷深耕,為建設(shè)網(wǎng)絡(luò)強國做出更大貢獻!
- 第三十三屆中國國際電子生產(chǎn)設(shè)備暨微電子工業(yè)展覽會 NEPCON China 電子展 2025
- 智能座艙︱2025廣州國際汽車智能座艙及車載顯示技術(shù)展覽會將于11月盛大開幕
- 探索新能源汽車“芯”動力：盡在2025廣州國際新能源汽車功率半導(dǎo)體技術(shù)展
- 超500名人工智能、超500家名人形機器人、超500名低空經(jīng)濟的實力買家，助力沖刺未來賽道新商機！
- 數(shù)領(lǐng)航空·智馭藍天！2025第二屆航空裝備數(shù)智試驗暨產(chǎn)業(yè)發(fā)展大會將于3月20-21日在綿陽隆重召開！
- 2025九峰山論壇暨化合物半導(dǎo)體產(chǎn)業(yè)博覽會
- 第九屆廣東水展 廣東國際水處理技術(shù)與設(shè)備展覽會
- 第九屆廣東水展
- 新會預(yù)告|“第七屆零售銀行領(lǐng)導(dǎo)者年會”邀您共同探討數(shù)智賦能下零售銀行的逆勢增長
- 選車網(wǎng)發(fā)布：2025年第3周汽車口碑榜深度解讀 新能源與燃油車的較量與趨勢
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
