對一些人來說，“黑箱”這個(gè)詞會讓人想起飛機(jī)上有價(jià)值的記錄設(shè)備，如果發(fā)生不可思議的事情，這些記錄設(shè)備將對事后分析非常有價(jià)值。對于其他人來說，它則喚起了小型、裝備簡陋的影院的印象。但黑箱也是人工智能世界中一個(gè)重要的術(shù)語。
AI黑箱指的是AI系統(tǒng)的內(nèi)部工作方式對用戶是不可見的。你可以輸入數(shù)據(jù)并得到輸出結(jié)果，但你無法檢查系統(tǒng)的代碼或產(chǎn)生輸出結(jié)果的邏輯。
機(jī)器學(xué)習(xí)是人工智能的主要子集。它支持ChatGPT和DALL-E2等生成型AI系統(tǒng)。機(jī)器學(xué)習(xí)有三個(gè)組成部分：算法或一組算法、訓(xùn)練數(shù)據(jù)和模型。算法是一組程序。在機(jī)器學(xué)習(xí)中，算法經(jīng)過大量的示例訓(xùn)練后學(xué)習(xí)識別模式——訓(xùn)練數(shù)據(jù)。一旦機(jī)器學(xué)習(xí)算法被訓(xùn)練，結(jié)果就是一個(gè)機(jī)器學(xué)習(xí)模型。這就是人們使用的東西。
例如，可以設(shè)計(jì)一個(gè)機(jī)器學(xué)習(xí)算法來識別圖像中的模式，訓(xùn)練數(shù)據(jù)可以是狗的圖像。得到的機(jī)器學(xué)習(xí)模型將是一個(gè)狗識別器。你可以輸入一張圖片并得到輸出結(jié)果，即圖像中是否有狗以及狗在圖像中的位置。
機(jī)器學(xué)習(xí)系統(tǒng)的任何一個(gè)組成部分都可以被隱藏，或者被放在黑箱中。通常情況下，算法是公開的，這使得將其放入黑箱的效果較小。因此，為了保護(hù)其知識產(chǎn)權(quán)，AI開發(fā)人員經(jīng)常將模型放在黑箱中。另一種軟件開發(fā)人員采取的方法是遮蔽用于訓(xùn)練模型的數(shù)據(jù)，即將訓(xùn)練數(shù)據(jù)放在黑箱中。
黑箱的相反面有時(shí)被稱為玻璃匣子。AI玻璃匣子是一個(gè)系統(tǒng)，其算法、訓(xùn)練數(shù)據(jù)和模型都可以供任何人查看。但研究人員有時(shí)將這些方面的某些方面描述為黑箱，這是因?yàn)檠芯咳藛T并不完全了解機(jī)器學(xué)習(xí)算法，特別是深度學(xué)習(xí)算法是如何操作的。可解釋性AI領(lǐng)域正在努力開發(fā)算法，雖然不一定是玻璃匣子，但可以更好地被人類理解。
為什么AI黑箱很重要
在許多情況下，對于黑箱機(jī)器學(xué)習(xí)算法和模型，人們有充足的理由持謹(jǐn)慎態(tài)度。假設(shè)一個(gè)機(jī)器學(xué)習(xí)模型對你的健康做出了診斷。你希望這個(gè)模型是黑箱還是玻璃匣子？那么，如果醫(yī)生開具了你的治療方案，她想知道這個(gè)模型是如何得出決策的。
如果一個(gè)機(jī)器學(xué)習(xí)模型決定你是否有資格從銀行獲得商業(yè)貸款，并拒絕了你的申請呢？你不想知道原因嗎？如果你知道了，你就可以更有效地上訴，或者改變你的情況以增加下一次獲得貸款的機(jī)會。
黑箱對軟件系統(tǒng)安全也有重要影響。多年來，計(jì)算機(jī)領(lǐng)域的許多人認(rèn)為將軟件放在黑箱中可以防止黑客檢查，因此會更安全。但這一假設(shè)往往被證明是錯(cuò)誤的，因?yàn)楹诳涂梢苑聪蚬こ誊浖?，即通過密切觀察軟件的工作方式來構(gòu)建一個(gè)仿制品，并發(fā)現(xiàn)可以利用的漏洞。
如果軟件是玻璃匣子，那么軟件測試人員和有良好意圖的黑客可以檢查它，并告知創(chuàng)建者存在的弱點(diǎn)，從而最大程度地減少網(wǎng)絡(luò)攻擊。
本文譯自 HowStuffWorks，由 bali 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
