機(jī)器學(xué)習(xí)是人工智能的核心技術(shù)之一，基本的機(jī)器學(xué)習(xí)算法可以分為：1．線性回歸；2．支持向量機(jī)（SVM）；3．最近鄰居（KNN）；4．邏輯回歸；5．決策樹(shù)；6．k平均；7．隨機(jī)森林；8．樸素貝葉斯；9．降維；10．梯度增強(qiáng)
上述算法中可具體分為三類：
1．監(jiān)督學(xué)習(xí)算法 ：在監(jiān)督學(xué)習(xí)訓(xùn)練過(guò)程中，可以由訓(xùn)練數(shù)據(jù)集學(xué)到或建立一個(gè)模式，并依此模式推測(cè)新的實(shí)例。該算法要求特定的輸入／輸出，首先需要決定使用哪種數(shù)據(jù)作為范例。例如，文字識(shí)別應(yīng)用中一個(gè)手寫的字符，或一行手寫文字。主要算法包括神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、最近鄰居法、樸素貝葉斯法、決策樹(shù)等。
2．無(wú)監(jiān)督學(xué)習(xí)算法 （Unsupervised Algorithms）：根據(jù)類別未知（沒(méi)有被標(biāo)記）的訓(xùn)練樣本解決模式識(shí)別中的各種問(wèn)題，稱之為無(wú)監(jiān)督學(xué)習(xí)。 最典型的非監(jiān)督學(xué)習(xí)算法包括單類密度估計(jì)、單類數(shù)據(jù)降維、聚類等。
3．強(qiáng)化學(xué)習(xí)算法 （Reinforcement Algorithms）：強(qiáng)化學(xué)習(xí)是智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí)，以使強(qiáng)化信號(hào)函數(shù)值最大。主要基于決策進(jìn)行訓(xùn)練，算法根據(jù)輸出結(jié)果（決策）的成功或錯(cuò)誤來(lái)訓(xùn)練自己，通過(guò)大量經(jīng)驗(yàn)訓(xùn)練優(yōu)化后的算法將能夠給出較好的預(yù)測(cè)。類似有機(jī)體在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下，逐步形成對(duì)刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。在運(yùn)籌學(xué)和控制論的語(yǔ)境下，強(qiáng)化學(xué)習(xí)被稱作“近似動(dòng)態(tài)規(guī)劃”（approximate dynamic programming，ADP）。
1．線性回歸算法
回歸分析是統(tǒng)計(jì)學(xué)的數(shù)據(jù)分析方法，目的在于了解兩個(gè)或多個(gè)變量間是否相關(guān)、相關(guān)方向與強(qiáng)度，并建立數(shù)學(xué)模型以便觀察特定變量來(lái)預(yù)測(cè)其它變量的變化情況。
線性回歸算法的建模過(guò)程就是使用數(shù)據(jù)點(diǎn)來(lái)尋找最佳擬合線。公式，s ＝ mx ＋ c，其中 s 是因變量，x 是自變量，利用給定的數(shù)據(jù)集求 m 和 c 的值。
線性回歸又分為兩種類型，即簡(jiǎn)單線性回歸（simple linear regression），只有 1 個(gè)自變量；多變量回歸中，至少兩組以上自變量。
2．支持向量機(jī)算法
支持向量機(jī)／網(wǎng)絡(luò)算法（SVM）屬于分類型算法。SVM模型將實(shí)例表示為空間中的點(diǎn)，將使用一條直線分隔數(shù)據(jù)點(diǎn)。需要注意的是，支持向量機(jī)需要對(duì)輸入數(shù)據(jù)進(jìn)行完全標(biāo)記，僅直接適用于兩類任務(wù)，應(yīng)用將多類任務(wù)需要減少到幾個(gè)二元問(wèn)題。
3．k－近鄰算法
KNN算法是一種基于實(shí)例的學(xué)習(xí)，或者是局部近似和將所有計(jì)算推遲到分類之后的惰性學(xué)習(xí)。用最近的鄰居（k）來(lái)預(yù)測(cè)未知數(shù)據(jù)點(diǎn)。k 值是預(yù)測(cè)精度的一個(gè)關(guān)鍵因素，無(wú)論是分類還是回歸，衡量鄰居的權(quán)重都非常有用，較近鄰居的權(quán)重比較遠(yuǎn)鄰居的權(quán)重大。
KNN 算法的缺點(diǎn)是對(duì)數(shù)據(jù)的局部結(jié)構(gòu)非常敏感。計(jì)算量大，需要對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理，使每個(gè)數(shù)據(jù)點(diǎn)都在相同的范圍。
4．邏輯回歸算法
邏輯回歸算法一般用于需要明確輸出的場(chǎng)景，如某些事件的發(fā)生（預(yù)測(cè)是否會(huì)發(fā)生降雨）。通常，邏輯回歸使用某種函數(shù)將概率值壓縮到某一特定范圍。
例如，Sigmoid 函數(shù)（S 函數(shù)）是一種具有 S 形曲線、用于二元分類的函數(shù)。它將發(fā)生某事件的概率值轉(zhuǎn)換為 0－1 的范圍表示。
5． 決策樹(shù)算法 Decision Tree
決策樹(shù)是一種特殊的樹(shù)結(jié)構(gòu)，由一個(gè)決策圖和可能的結(jié)果（例如成本和風(fēng)險(xiǎn)）組成，用來(lái)輔助決策。機(jī)器學(xué)習(xí)中，決策樹(shù)是一個(gè)預(yù)測(cè)模型，樹(shù)中每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象，而每個(gè)分叉路徑則代表某個(gè)可能的屬性值，而每個(gè)葉節(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表示的對(duì)象的值。決策樹(shù)僅有單一輸出，通常該算法用于解決分類問(wèn)題。
一個(gè)決策樹(shù)包含三種類型的節(jié)點(diǎn)：
決策節(jié)點(diǎn)：通常用矩形框來(lái)表示
機(jī)會(huì)節(jié)點(diǎn)：通常用圓圈來(lái)表示
終結(jié)點(diǎn)：通常用三角形來(lái)表示
6．k－平均算法
k－平均算法是一種無(wú)監(jiān)督學(xué)習(xí)算法，為聚類問(wèn)題提供了一種解決方案。
K－Means 算法把 n 個(gè)點(diǎn)劃分到 k 個(gè)集群（cluster），使得每個(gè)點(diǎn)都屬于離他最近的均值（即聚類中心，centroid）對(duì)應(yīng)的集群。重復(fù)上述過(guò)程一直持續(xù)到重心不改變。
7．隨機(jī)森林算法
隨機(jī)森林算法的名稱由 1995 年由貝爾實(shí)驗(yàn)室提出的random decision forests 而來(lái)，正如它的名字所說(shuō)的那樣，隨機(jī)森林可以看作一個(gè)決策樹(shù)的集合。
隨機(jī)森林中每棵決策樹(shù)估計(jì)一個(gè)分類，這個(gè)過(guò)程稱為“投票（vote）”。理想情況下，我們根據(jù)每棵決策樹(shù)的每個(gè)投票，選擇最多投票的分類。
8．樸素貝葉斯算法
樸素貝葉斯算法基于概率論的貝葉斯定理，應(yīng)用非常廣泛，從文本分類、垃圾郵件過(guò)濾器、醫(yī)療診斷等等。樸素貝葉斯適用于特征之間的相互獨(dú)立的場(chǎng)景，例如利用花瓣的長(zhǎng)度和寬度來(lái)預(yù)測(cè)花的類型?！皹闼亍钡膬?nèi)涵可以理解為特征和特征之間獨(dú)立性強(qiáng)。
9． 降維算法 Dimensional Reduction
在機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)領(lǐng)域，降維是指在限定條件下，降低隨機(jī)變量個(gè)數(shù)，得到一組“不相關(guān)”主變量的過(guò)程，并可進(jìn)一步細(xì)分為特征選擇和特征提取兩大方法。
一些數(shù)據(jù)集可能包含許多難以處理的變量。特別是資源豐富的情況下，系統(tǒng)中的數(shù)據(jù)將非常詳細(xì)。在這種情況下，數(shù)據(jù)集可能包含數(shù)千個(gè)變量，其中大多數(shù)變量也可能是不必要的。在這種情況下，幾乎不可能確定對(duì)我們的預(yù)測(cè)影響最大的變量。此時(shí)，我們需要使用降維算法，降維的過(guò)程中也可能需要用到其他算法，例如借用隨機(jī)森林，決策樹(shù)來(lái)識(shí)別最重要的變量。
10． 梯度增強(qiáng)算法 Gradient Boosting
梯度增強(qiáng)算法（Gradient Boosting）使用多個(gè)弱算法來(lái)創(chuàng)建更強(qiáng)大的精確算法。它與使用單個(gè)估計(jì)量不同，而是使用多個(gè)估計(jì)量創(chuàng)建一個(gè)更穩(wěn)定和更健壯的算法。梯度增強(qiáng)算法：
XGBoost—使用線性和樹(shù)算法
LightGBM—只使用基于樹(shù)的算法
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
