作者：鄂維南
什么是數(shù)據(jù)科學(xué)？它和已有的信息科學(xué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等學(xué)科有什么不同？作為一門新興的學(xué)科，數(shù)據(jù)科學(xué)依賴兩個(gè)因素：一是數(shù)據(jù)的廣泛性和多樣性；二是數(shù)據(jù)研究的共性。現(xiàn)代社會(huì)的各行各業(yè)都充滿了數(shù)據(jù)，這些數(shù)據(jù)的類型多種多樣，不僅包括傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，也包括網(wǎng)頁(yè)、文本、圖像、視頻、語(yǔ)音等非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)分析本質(zhì)上都是在解反問(wèn)題，而且通常是隨機(jī)模型的反問(wèn)題，因此對(duì)它們的研究有很多共性。例如，自然語(yǔ)言處理和生物大分子模型都用到隱馬爾科夫過(guò)程和動(dòng)態(tài)規(guī)劃方法，其最根本的原因是它們處理的都是一維隨機(jī)信號(hào)；再如，圖像處理和統(tǒng)計(jì)學(xué)習(xí)中都用到的正則化方法，也是處理反問(wèn)題的數(shù)學(xué)模型中最常用的一種。
數(shù)據(jù)科學(xué)主要包括兩個(gè)方面：用數(shù)據(jù)的方法研究科學(xué)和用科學(xué)的方法研究數(shù)據(jù)。前者包括生物信息學(xué)、天體信息學(xué)、數(shù)字地球等領(lǐng)域；后者包括統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)等領(lǐng)域。這些學(xué)科都是數(shù)據(jù)科學(xué)的重要組成部分，只有把它們有機(jī)地整合在一起，才能形成整個(gè)數(shù)據(jù)科學(xué)的全貌。
如何用數(shù)據(jù)的方法研究科學(xué)
用數(shù)據(jù)的方法研究科學(xué)，最典型的例子是開(kāi)普勒關(guān)于行星運(yùn)動(dòng)的三大定律。開(kāi)普勒的三大定律是根據(jù)他的前任，一位叫第谷的天文學(xué)家留給他的觀察數(shù)據(jù)總結(jié)出來(lái)的。表1列出的觀測(cè)數(shù)據(jù)是行星繞太陽(yáng)一周所需要的時(shí)間（以年為單位）和行星離太陽(yáng)的平均距離（以地球與太陽(yáng)的平均距離為單位）。從這組數(shù)據(jù)可以看出，行星繞太陽(yáng)運(yùn)行的周期的平方和行星離太陽(yáng)的平均距離的立方成正比，這就是開(kāi)普勒第三定律。
開(kāi)普勒雖然總結(jié)出他的三大定律，但他并不理解其內(nèi)涵。牛頓則不然，他用牛頓第二定律和萬(wàn)有引力定律把行星運(yùn)動(dòng)歸結(jié)成一個(gè)純粹的數(shù)學(xué)問(wèn)題，即一個(gè)常微分方程組。如果忽略行星之間的相互作用，那么各行星和太陽(yáng)之間就構(gòu)成了一個(gè)兩體問(wèn)題，我們很容易求出相應(yīng)的解，并由此推導(dǎo)出開(kāi)普勒的三大定律。
牛頓運(yùn)用的是尋求基本原理的方法，它遠(yuǎn)比開(kāi)普勒的方法深刻。牛頓不僅知其然，而且知其所以然。所以牛頓開(kāi)創(chuàng)的尋求基本原理的方法成為科學(xué)研究的首選模式，這種方法的發(fā)展在20世紀(jì)初期達(dá)到了頂峰，在它的指導(dǎo)下，物理學(xué)家們提出了量子力學(xué)。原則上講，我們?cè)谌粘Ｉ钪锌吹降淖匀滑F(xiàn)象都可以從量子力學(xué)出發(fā)得到解釋。量子力學(xué)提供了研究化學(xué)、材料科學(xué)、工程科學(xué)、生命科學(xué)等幾乎所有自然和工程學(xué)科的基本原理，這應(yīng)該說(shuō)是很成功的，但事情遠(yuǎn)非這么簡(jiǎn)單。狄拉克指出，如果以量子力學(xué)的基本原理為出發(fā)點(diǎn)去解決這些問(wèn)題，那么其中的數(shù)學(xué)問(wèn)題就太困難了。因此必須妥協(xié)，對(duì)基本原理作近似。
盡管牛頓模式很深刻，但對(duì)復(fù)雜的問(wèn)題，開(kāi)普勒模式往往更有效。例如，表2中形象地描述了一組人類基因組的單核苷酸多態(tài)性(Single Nucleotide Polymorphism, SNP)數(shù)據(jù)。研究人員在全世界挑選出1064個(gè)志愿者，并把他們的SNP數(shù)據(jù)數(shù)字化，即把每個(gè)位置上可能出現(xiàn)的10種堿基對(duì)用數(shù)字表示，對(duì)這組數(shù)據(jù)做主成分分析(PCA)——一種簡(jiǎn)單的數(shù)據(jù)分析方法，其原理是對(duì)數(shù)據(jù)的協(xié)方差矩陣做特征值分解，可以得到圖1所示的結(jié)果。其中橫軸和縱軸分別代表第一和第二奇異值所對(duì)應(yīng)的特征向量，這些向量一共有1064個(gè)分量，對(duì)應(yīng)1064個(gè)志愿者。值得注意的是，這組點(diǎn)的顏色所代表的意義。由此可見(jiàn)，通過(guò)最常見(jiàn)的統(tǒng)計(jì)分析方法——主成分分析，可以從這組數(shù)據(jù)中展示出人類進(jìn)化的過(guò)程。
圖1 對(duì)SNP數(shù)據(jù)做主成分分析的結(jié)果[1]
如果采用從基本原理出發(fā)的牛頓模式，上述問(wèn)題基本是無(wú)法解決的，而基于數(shù)據(jù)的開(kāi)普勒模式則行之有效。開(kāi)普勒模式最成功的例子是生物信息學(xué)和人類基因組工程，正因?yàn)樗鼈兊某晒?，材料基因組工程等類似的項(xiàng)目也被提上了議程。同樣，天體信息學(xué)、計(jì)算社會(huì)學(xué)等也成為熱門學(xué)科，這些都是用數(shù)據(jù)的方法研究科學(xué)問(wèn)題的例子。而圖像處理是另一個(gè)典型的例子。圖像處理是否成功是由人的視覺(jué)系統(tǒng)決定的，要從根本上解決圖像處理的問(wèn)題，就需要從理解人的視覺(jué)系統(tǒng)著手，理解不同質(zhì)量的圖像對(duì)人的視覺(jué)系統(tǒng)會(huì)產(chǎn)生什么樣的影響。當(dāng)然，這樣的理解很深刻，而且也許是我們最終需要的，但目前看來(lái)，它過(guò)于困難也過(guò)于復(fù)雜，解決很多實(shí)際問(wèn)題時(shí)并不會(huì)真正使用它，而是使用一些更為簡(jiǎn)單的數(shù)學(xué)模型。
用數(shù)據(jù)的方法研究科學(xué)問(wèn)題，并不意味著就不需要模型，只是模型的出發(fā)點(diǎn)不一樣，不是從基本原理的角度去尋找模型。以圖像處理為例，基于基本原理的模型需要描述人的視覺(jué)系統(tǒng)以及它與圖像之間的關(guān)系，而通常的方法可以是基于更為簡(jiǎn)單的數(shù)學(xué)模型，如函數(shù)逼近的模型。
如何用科學(xué)的方法研究數(shù)據(jù)
用科學(xué)的方法研究數(shù)據(jù)主要包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析。本文將主要討論數(shù)據(jù)分析。
數(shù)據(jù)分析的中心問(wèn)題
比較常見(jiàn)的數(shù)據(jù)有以下幾種類型。
表格：最為經(jīng)典的數(shù)據(jù)類型。在表格數(shù)據(jù)中，通常行代表樣本，列代表特征；點(diǎn)集(point cloud)：很多數(shù)據(jù)都可以看成是某空間中的點(diǎn)的集合；時(shí)間序列：文本、通話和DNA序列等都可以看成是時(shí)間序列。它們也是一個(gè)變量（通常是時(shí)間）的函數(shù)；圖像：可以看成是兩個(gè)變量的函數(shù)；視頻：時(shí)間和空間坐標(biāo)的函數(shù)；網(wǎng)頁(yè)和報(bào)紙：雖然網(wǎng)頁(yè)或報(bào)紙上的每篇文章都可以看成是時(shí)間序列，但整個(gè)網(wǎng)頁(yè)或報(bào)紙又具有空間結(jié)構(gòu)；網(wǎng)絡(luò)數(shù)據(jù)：網(wǎng)絡(luò)本質(zhì)上是圖，由節(jié)點(diǎn)和聯(lián)系節(jié)點(diǎn)的邊構(gòu)成。除了上述基本數(shù)據(jù)類型外，還可以考慮更高層次的數(shù)據(jù)，如圖像集、時(shí)間序列集、表格序列等。
數(shù)據(jù)分析的基本假設(shè)是觀察到的數(shù)據(jù)都是由某個(gè)模型產(chǎn)生的，而數(shù)據(jù)分析的基本問(wèn)題就是找出這個(gè)模型。由于數(shù)據(jù)采集過(guò)程中不可避免會(huì)引入噪聲，因此這些模型都是隨機(jī)模型。例如，點(diǎn)集對(duì)應(yīng)的數(shù)據(jù)模型是概率分布，時(shí)間序列對(duì)應(yīng)的數(shù)據(jù)模型是隨機(jī)過(guò)程，圖像對(duì)應(yīng)的數(shù)據(jù)模型是隨機(jī)場(chǎng)，網(wǎng)絡(luò)對(duì)應(yīng)的數(shù)據(jù)模型是圖模型和貝葉斯模型。
通常我們對(duì)整個(gè)模型并不感興趣，而只是希望找到模型的一部分內(nèi)容。例如我們利用相關(guān)性來(lái)判斷兩組數(shù)據(jù)是否相關(guān)，利用排序來(lái)對(duì)數(shù)據(jù)的重要性進(jìn)行排名，利用分類和聚類將數(shù)據(jù)進(jìn)行分組等。
很多情況下，我們還需要對(duì)隨機(jī)模型作近似。最常見(jiàn)的方法是將隨機(jī)模型近似為確定型模型，所有的回歸模型和基于變分原理的圖像處理模型都采用了這種近似；另一類方法是對(duì)其分布作近似，例如假設(shè)概率分布是正態(tài)分布或假設(shè)時(shí)間序列是馬爾科夫鏈等。
數(shù)據(jù)的數(shù)學(xué)結(jié)構(gòu)
要對(duì)數(shù)據(jù)作分析，就必須先在數(shù)據(jù)集上引入數(shù)學(xué)結(jié)構(gòu)?；镜臄?shù)學(xué)結(jié)構(gòu)包括度量結(jié)構(gòu)、網(wǎng)絡(luò)結(jié)構(gòu)和代數(shù)結(jié)構(gòu)。
度量結(jié)構(gòu)。在數(shù)據(jù)集上引進(jìn)度量（距離），使之成為一個(gè)度量空間。文本處理中的余弦距離函數(shù)就是一個(gè)典型的例子。網(wǎng)絡(luò)結(jié)構(gòu)。有些數(shù)據(jù)本身就具有網(wǎng)絡(luò)結(jié)構(gòu)，如社交網(wǎng)絡(luò)；有些數(shù)據(jù)本身沒(méi)有網(wǎng)絡(luò)結(jié)構(gòu)，但可以附加上一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，例如度量空間的點(diǎn)集，我們可以根據(jù)點(diǎn)與點(diǎn)之間的距離來(lái)決定是否把兩個(gè)點(diǎn)連接起來(lái)，這樣就得到一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)頁(yè)排名(PageRank)算法是利用網(wǎng)絡(luò)結(jié)構(gòu)的一個(gè)典型例子。代數(shù)結(jié)構(gòu)。把數(shù)據(jù)看成向量、矩陣或更高階的張量。有些數(shù)據(jù)集具有隱含的對(duì)稱性，也可以用代數(shù)的方法表達(dá)出來(lái)。在上述數(shù)學(xué)結(jié)構(gòu)的基礎(chǔ)上，可以討論更進(jìn)一步的問(wèn)題，例如拓?fù)浣Y(jié)構(gòu)和函數(shù)結(jié)構(gòu)。
拓?fù)浣Y(jié)構(gòu)。從不同的尺度看數(shù)據(jù)集，得到的拓?fù)浣Y(jié)構(gòu)可能是不一樣的。最著名的例子是3×3的自然圖像數(shù)據(jù)集里面隱含著一個(gè)二維的克萊因瓶(Klein bottle)。函數(shù)結(jié)構(gòu)。對(duì)點(diǎn)集而言，尋找其中的函數(shù)結(jié)構(gòu)是統(tǒng)計(jì)學(xué)的基本問(wèn)題。這里的函數(shù)結(jié)構(gòu)包括線性函數(shù)（用于線性回歸）、分片常數(shù)（用于聚類或分類）、分片多項(xiàng)式（如樣條函數(shù)）、其他函數(shù)（如小波展開(kāi)）等。數(shù)據(jù)分析的主要困難
我們研究的數(shù)據(jù)通常有幾個(gè)特點(diǎn)：(1)數(shù)據(jù)量大。數(shù)據(jù)量大給計(jì)算帶來(lái)挑戰(zhàn)，需要一些隨機(jī)方法或分布式計(jì)算來(lái)解決問(wèn)題；(2)數(shù)據(jù)維數(shù)高。例如，前面提到的SNP數(shù)據(jù)是64萬(wàn)維的；(3)數(shù)據(jù)類型復(fù)雜。網(wǎng)頁(yè)、報(bào)紙、圖像、視頻等多種類型的數(shù)據(jù)給數(shù)據(jù)融合帶來(lái)困難；(4)噪音大。數(shù)據(jù)在生成、采集、傳輸和處理等流程中，均可能引入噪音，這些噪音的存在給數(shù)據(jù)清洗和分析帶來(lái)挑戰(zhàn)，需要有一定修正功能的模型（如圖像中的正則化和機(jī)器學(xué)習(xí)中的去噪自編碼器）來(lái)進(jìn)行降噪處理。
其中，最核心的困難是數(shù)據(jù)維數(shù)高。它會(huì)導(dǎo)致維數(shù)災(zāi)難(curse of dimensionality),即模型的復(fù)雜度和計(jì)算量隨著維數(shù)的增加而指數(shù)增長(zhǎng)。那么，如何克服數(shù)據(jù)維數(shù)高帶來(lái)的困難？通常有兩類方法。一類是將數(shù)學(xué)模型限制在一個(gè)極小的特殊類里，如線性模型；另一類是利用數(shù)據(jù)可能有的特殊結(jié)構(gòu)，如稀疏性、低維、低秩和光滑性等。這些特性可以通過(guò)對(duì)模型作適當(dāng)?shù)恼齽t化實(shí)現(xiàn)，也可以通過(guò)降維方法實(shí)現(xiàn)。
總之，數(shù)據(jù)分析本質(zhì)上是一個(gè)反問(wèn)題。處理反問(wèn)題的許多方法（如正則化）在數(shù)據(jù)分析中扮演了重要角色，這正是統(tǒng)計(jì)學(xué)與統(tǒng)計(jì)力學(xué)的不同之處。統(tǒng)計(jì)力學(xué)處理的是正問(wèn)題，統(tǒng)計(jì)學(xué)處理的是反問(wèn)題。
算法的重要性
與模型相輔相成的是算法以及這些算法在計(jì)算機(jī)上的實(shí)現(xiàn)。在數(shù)據(jù)量很大的情況下，算法的重要性尤為突出。從算法的角度來(lái)看，處理大數(shù)據(jù)主要有兩條思路：
降低算法的復(fù)雜度，即計(jì)算量。通常要求算法的計(jì)算量是線性標(biāo)度的，即計(jì)算量與數(shù)據(jù)量成線性關(guān)系。但很多關(guān)鍵的算法，尤其是優(yōu)化方法，還達(dá)不到這個(gè)要求。對(duì)于特別大的數(shù)據(jù)集，如萬(wàn)維網(wǎng)上的數(shù)據(jù)或社交網(wǎng)絡(luò)數(shù)據(jù)，我們希望能有次線性標(biāo)度的算法，也就是說(shuō)計(jì)算量遠(yuǎn)小于數(shù)據(jù)量。這就要求我們采用抽樣的方法。其中最典型的例子是隨機(jī)梯度下降法(Stochastic Gradient Descent, SGD)。分布式計(jì)算。其基本思想是把一個(gè)大問(wèn)題分解成很多小問(wèn)題，然后分而治之。著名的MapReduce框架就是一個(gè)典型的例子。現(xiàn)階段，算法的研究分散在兩個(gè)基本不相往來(lái)的領(lǐng)域——計(jì)算數(shù)學(xué)和計(jì)算機(jī)科學(xué)。計(jì)算數(shù)學(xué)研究的算法主要針對(duì)像函數(shù)這樣的連續(xù)結(jié)構(gòu)，其主要應(yīng)用對(duì)象是微分方程等；計(jì)算機(jī)科學(xué)主要處理離散結(jié)構(gòu)，如網(wǎng)絡(luò)。而現(xiàn)實(shí)數(shù)據(jù)的特點(diǎn)介于兩者之間，即數(shù)據(jù)本身是離散的，而數(shù)據(jù)背后有一個(gè)連續(xù)的模型。因此，要發(fā)展針對(duì)數(shù)據(jù)的算法，就必須把計(jì)算數(shù)學(xué)和計(jì)算機(jī)科學(xué)研究的算法有效地結(jié)合起來(lái)。
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 1—8月我國(guó)軟件業(yè)務(wù)收入85492億元，同比增長(zhǎng)11.2％
- 合合信息啟信寶數(shù)據(jù)產(chǎn)業(yè)洞察：長(zhǎng)三角地區(qū)數(shù)據(jù)企業(yè)超48000家，數(shù)量領(lǐng)跑全國(guó)
- 2025年全球網(wǎng)絡(luò)安全支出將激增15% | 行業(yè)觀察
- 華為數(shù)據(jù)存儲(chǔ)兩大新品齊發(fā)：全面閃存化，全面向AI
- 數(shù)據(jù)中心太耗電，微軟攜手Constellation Energy探索核能供電新途徑
- 戴爾一周內(nèi)發(fā)生兩起數(shù)據(jù)泄露事件，Atlassian工具成泄露源頭
- 華為ICT學(xué)院年會(huì)2024舉辦，ICT學(xué)院3.0計(jì)劃正式啟航
- 華為啟動(dòng)全球金融伙伴“融海計(jì)劃”，共創(chuàng)行業(yè)新價(jià)值
- 華為聯(lián)合多家伙伴發(fā)布《現(xiàn)代化金融核心系統(tǒng)白皮書：實(shí)踐篇》
- 華為發(fā)布數(shù)據(jù)智能解決方案5.0，加速金融大模型應(yīng)用從“賦能”到“產(chǎn)能”
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。
