怎樣成為知乎大V？爬取張佳瑋138w+知乎關(guān)注者：數(shù)據(jù)可視化

一、前言

作為簡(jiǎn)書(shū)上第一篇文章，先介紹下小背景，即為什么爬知乎第一大V張公子的138w+關(guān)注者信息？

其實(shí)之前也寫(xiě)過(guò)不少小爬蟲(chóng)，按照網(wǎng)上各種教程實(shí)例去練手，“不可避免”的爬過(guò)妹子圖、爬過(guò)豆瓣Top250電影等等；也基于自身的想法，在浙大120周年校慶前，聽(tīng)聞北美帝國(guó)大廈首次給大陸學(xué)校亮燈，于是爬取2016-2017年官網(wǎng)上每日的亮燈圖并用python的PIL庫(kù)做了幾個(gè)小logo，算是一名吃瓜群眾自發(fā)的慶賀行為；（更多照片見(jiàn)于：Deserts-X 我的相冊(cè)-北美帝國(guó)大廈亮燈圖：ZJU_120 logo）

https://www.douban.com/photos/photo/2459391373/

北美帝國(guó)大廈亮燈圖：ZJU120

也因?yàn)橄矚g魯迅的作品，爬過(guò)在線魯迅全集的全部文章標(biāo)題和鏈接；另外聽(tīng)說(shuō)太祖的某卷書(shū)是禁書(shū)，于是順帶也爬了遍毛選；還幫老同學(xué)在某票據(jù)網(wǎng)站下線前爬了大部分機(jī)構(gòu)、人員信息，說(shuō)是蠻值錢(qián)，然而也還在留著落灰……

微博簽到數(shù)據(jù)點(diǎn)亮中國(guó)

再是知道百度Echarts開(kāi)源的可視化網(wǎng)站里面的圖很酷炫，比如使我著迷的：微博簽到數(shù)據(jù)點(diǎn)亮中國(guó)，http://echarts.baidu.com/demo.html#scatter-weibo?于是想著可以爬取微博大明星、小鮮肉的粉絲的居住地，然后搞搞怎么畫(huà)出全國(guó)乃至全球分布情況。但發(fā)現(xiàn)幾年前微博就限制只能查看200左右粉絲數(shù)（具體忘了），蠻掃興的，于是將目光轉(zhuǎn)向了知乎……

而既然要爬，那就爬關(guān)注人數(shù)最多的張公子吧，數(shù)據(jù)量也大，這方面是之前小項(xiàng)目所不及的，此前也看過(guò)不少爬知乎數(shù)據(jù)與分析的文章，因此也想練練手，看看大量訪問(wèn)與獲取數(shù)據(jù)時(shí)會(huì)不會(huì)遇到什么封IP的反爬措施，以及數(shù)據(jù)可視化能搞成什么樣。

不過(guò)此文在爬蟲(chóng)部分不做過(guò)多展開(kāi)，看情況后續(xù)再另寫(xiě)一文。思路如下：抓包獲取張佳瑋主頁(yè)關(guān)注者api，然后改變網(wǎng)址中offset參數(shù)為20的倍數(shù)，一直翻頁(yè)直到獲取138w+關(guān)注者信息，其中返回的json數(shù)據(jù)主要有：關(guān)注者的昵稱、主頁(yè)id（即url_token）、性別、簽名、被關(guān)注人數(shù)等，也就是說(shuō)需要訪問(wèn)所有主頁(yè)id，才能獲取更多信息（個(gè)人主頁(yè)api：以黃繼新為例）：居住地、所在行業(yè)、職業(yè)經(jīng)歷、教育經(jīng)歷、獲贊數(shù)、感謝數(shù)、收藏?cái)?shù)等等。鑒于還不怎么會(huì)多進(jìn)程爬取，如果把所有id再爬一遍會(huì)非常耗時(shí)間，于是篩選被關(guān)注數(shù)100+的id，發(fā)現(xiàn)只剩了4.1w+，之后較完整提取了這部分的信息，后續(xù)可視化也多基于此。

爬取信息一覽

?二、數(shù)據(jù)可視化

1、關(guān)注人數(shù)

大V總是少數(shù)的，而小透明到底有多少、分布情況如何呢？將關(guān)注人數(shù)劃分成不同區(qū)間，繪制成如下金字塔圖：

作為一只小透明，在此過(guò)程中發(fā)現(xiàn)自己處于前2w的位置，即圖中紅色區(qū)域，還是蠻吃驚的。上文已提到100+關(guān)注就超過(guò)了134w的用戶，而1k+、1w+、10w+就越來(lái)越接近塔尖，越來(lái)越接近張公子的所在，看上圖10w+以上的區(qū)域，如同高聳入云，渺然不可見(jiàn)，“亂山合沓，空翠爽肌，寂無(wú)人行，止有鳥(niǎo)道”，令小透明很是神往。

上升之路雖然崎嶇，但也同樣說(shuō)明只要多增幾個(gè)關(guān)注，就勝過(guò)了數(shù)以萬(wàn)計(jì)的用戶，這對(duì)于有志于成為大V的人，或許能在艱難的前行之路上，靠此數(shù)據(jù)透露的信息，拾得些許信心。

細(xì)看底部的區(qū)間，0關(guān)注有40.2w+，1-10關(guān)注有76.6w+，區(qū)分度已赫然形成，但小透明可能感受不出，那怕有幾百的關(guān)注，何嘗不會(huì)覺(jué)得自己依舊是個(gè)小透明呢？有誰(shuí)會(huì)相信斬獲10人關(guān)注，就超過(guò)了100w+的用戶，數(shù)據(jù)能告知人經(jīng)驗(yàn)之外的事實(shí)，在此可見(jiàn)一斑。當(dāng)然知乎大量用戶涌入且多數(shù)人并不產(chǎn)生優(yōu)質(zhì)或有趣的回答，也是一二原因。

繼續(xù)看100+以上的數(shù)據(jù)，底部占比依舊明顯，塔尖依然很小。

2、性別情況

接著對(duì)100+關(guān)注人群的性別組成進(jìn)行分析，發(fā)現(xiàn)男女比例基本維持在2:1，與138w+用戶的男女比例差別不大。當(dāng)然10w+關(guān)注由于人數(shù)較少，比例超過(guò)3:1，是否能得出男性在這方面更為優(yōu)秀就不得而知了。

3、10w+大V

前文已多次提到10w+大V，那么這190人里到底都有誰(shuí)呢？這里以關(guān)注人數(shù)為權(quán)重，生成詞云如下：

大家上知乎的話應(yīng)該也有關(guān)注一些大V，許多名字應(yīng)該并不陌生，比如馬伯庸、動(dòng)機(jī)在杭州、葛巾、朱炫、丁香醫(yī)生等等，當(dāng)然也會(huì)發(fā)現(xiàn)并不是所有大V都關(guān)注了張公子，哪怕他是知乎第一人，目前已交出了3026個(gè)回答，135個(gè)知乎收錄回答的傲人成績(jī)（據(jù)說(shuō)也是豆瓣和虎撲第一人）。

4、居住地分布

終于到了我最初開(kāi)始這個(gè)項(xiàng)目時(shí)，最想獲取的的信息了。雖然由于爬取效率而篩選掉了100關(guān)注以下的id共134w，數(shù)據(jù)量方面不如標(biāo)題所示的那么多，略有遺憾，但其實(shí)真的拿到4.1w+條較優(yōu)質(zhì)數(shù)據(jù)時(shí)，發(fā)現(xiàn)處理起來(lái)也并不容易。

比如這里的居住地信息，有亂填水星、火星、那美克星，也有填國(guó)家、省份、縣市、街道格式不一的，還有諸如老和山之類外行人不明白的“啞謎”等等，數(shù)據(jù)之臟令人頭疼，且純文本的數(shù)據(jù)又不像數(shù)字類可以篩選、排序，還沒(méi)想到好的方式應(yīng)對(duì)。再者Echarts官網(wǎng)雖然有不少可以套用的模板，但有很多地方的經(jīng)緯度需要重新獲取，這樣就在數(shù)據(jù)處理和地圖上定位有兩處難題需要解決。

由于第一次處理這類數(shù)據(jù)并可視化，第一次用Echarts就打算畫(huà)這個(gè)酷炫的地圖，因此最終先縮小數(shù)據(jù)量，還是以1w+大V的數(shù)據(jù)來(lái)可視化，目前先完成國(guó)內(nèi)分布情況，以后看情況再擴(kuò)大數(shù)據(jù)量和繪制全球分布情況。

其中出現(xiàn)次數(shù)排名前幾的城市依次為：北京 360，上海 183，深圳 55，杭州 52，廣州 47，成都 26，南京 20……應(yīng)該算是意料之中的。考慮到并不是每個(gè)人對(duì)這些點(diǎn)所代表的城市都熟悉，加上城市名，效果如下，重疊較為嚴(yán)重，顯示效果不夠好，仍需解決。

5、Top20 系列

接下來(lái)分別對(duì)所在行業(yè)、職業(yè)經(jīng)歷、教育經(jīng)歷等進(jìn)行分析，結(jié)果如下（注：用戶有多條職業(yè)經(jīng)歷或教育經(jīng)歷的，僅爬取了最新的一條數(shù)據(jù)）：

學(xué)校方面幾乎全為985、211高校，當(dāng)然拿得出手的會(huì)樂(lè)于寫(xiě)上，略微差些的可能不會(huì)填寫(xiě)，而且涌入用戶多了后，這類數(shù)據(jù)也就只是調(diào)侃知乎人人都是985高校，年薪百萬(wàn)的點(diǎn)了。所在行業(yè)方面，互聯(lián)網(wǎng)遙遙領(lǐng)先，計(jì)算機(jī)軟件、金融、高等教育位居前四。

Top20 公司中BAT、網(wǎng)易、華為、小米科技、美團(tuán)網(wǎng)以及谷歌、Facebook、微軟等大廠都悉數(shù)在列。再看Top20 職業(yè)里除了各種名號(hào)的程序員、產(chǎn)品經(jīng)理、運(yùn)營(yíng)等互聯(lián)網(wǎng)職業(yè)，創(chuàng)始人、CEO等占據(jù)前排，不可謂不令人大驚從早到晚失色。

6、認(rèn)證信息

原本只知道博士可以提供信息得到認(rèn)證，知乎也會(huì)給予其回答更好的顯示途徑，使其更容易成長(zhǎng)為大V，以此作為對(duì)高學(xué)歷人群、優(yōu)質(zhì)用戶的獎(jiǎng)勵(lì)。

此次抓取的100+關(guān)注4.1w+條數(shù)據(jù)中有208條認(rèn)證信息。除卻各種專業(yè)的博士、博士后外，還有37家公司、機(jī)構(gòu)，9條醫(yī)師，11條教授/講師/研究員，13條CFA、CPA持證人或工程師、建筑師，以及副總裁、創(chuàng)始人、記者、律師、WCG2005-2006魔獸爭(zhēng)霸項(xiàng)目世界冠軍、職業(yè)自行車(chē)手、主持人、作家等等?？磥?lái)還是有不少可以后續(xù)去了解下優(yōu)質(zhì)用戶的。

7、優(yōu)秀回答者

除了認(rèn)證信息外，優(yōu)秀回答者這是鑒別某用戶是否為優(yōu)質(zhì)用戶，是否值得關(guān)注的一個(gè)重要指標(biāo)。包含張佳瑋在內(nèi)，共有468位優(yōu)秀回答者，涉及257個(gè)話題，共出現(xiàn)768人次優(yōu)秀回答者標(biāo)簽。

涉及的257話題詞云

而所有優(yōu)秀回答者貢獻(xiàn)的回答和知乎收錄回答情況如下：

最右上角的便是張佳瑋的貢獻(xiàn)情況，令人望塵莫及。也有不少用戶貢獻(xiàn)了上千個(gè)回答，可以說(shuō)是非常高產(chǎn)。但大部分用戶回答數(shù)<1000，收錄數(shù)<50。因此對(duì)此區(qū)域放大，可見(jiàn)：

有不少數(shù)據(jù)收錄回答為0，因?yàn)檫€不知道知乎優(yōu)秀回答者的評(píng)判標(biāo)準(zhǔn)，所以此處還需進(jìn)一步了解。另外這些數(shù)據(jù)點(diǎn)，對(duì)應(yīng)的加上一些大V名字可能顯示起來(lái)能好，但一直在摸索，還不得要領(lǐng)。

三、小結(jié)

本項(xiàng)目是個(gè)人第一次百萬(wàn)級(jí)數(shù)據(jù)的爬取，當(dāng)然由于爬取效率方面需要改進(jìn)，所以詳細(xì)用戶信息選擇性的只爬了100+關(guān)注人數(shù)共4.1w+的id。另外也是第一次數(shù)據(jù)可視化，從完全不懂Echarts的各種參數(shù)，硬剛配置項(xiàng)，到勉強(qiáng)獲得了上述還算能看的一些數(shù)據(jù)圖，不少地方還需進(jìn)一步學(xué)習(xí)、改進(jìn)，以求獲得更合乎要求的、理想的、自定義的可視化圖。

另外，除卻上述數(shù)據(jù)外，還有點(diǎn)贊數(shù)、感謝數(shù)、收藏?cái)?shù)、關(guān)注數(shù)和被關(guān)注數(shù)、簽名、個(gè)人簡(jiǎn)介等等數(shù)據(jù)并未處理，但基本想要獲取的圖都得到了，算是完成了此項(xiàng)目，也學(xué)到了很多東西。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。