想象一下奧威爾的《1984》的場(chǎng)景，現(xiàn)在，你的工作場(chǎng)所也可能出現(xiàn)類似情形。人工智能 (AI) 正在分析你 Slack、Teams、Zoom 等常用應(yīng)用上的聊天內(nèi)容。
據(jù)美國(guó)知名初創(chuàng)公司 Aware 透露，沃爾瑪、達(dá)美航空、T-Mobile、雪佛龍和星巴克等大型美國(guó)雇主，以及雀巢和阿斯利康等歐洲品牌，都已采用其服務(wù)來(lái)監(jiān)控員工之間的聊天內(nèi)容。
Aware 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Jeff Schumann 表示，AI 可以幫助公司“了解溝通中的風(fēng)險(xiǎn)”，實(shí)時(shí)了解員工情緒，而不是依賴一年或兩次的年度調(diào)查。
Schumann 指出，客戶可以通過(guò) Aware 的匿名數(shù)據(jù)分析產(chǎn)品，查看不同年齡段或特定地區(qū)員工對(duì)新公司政策或營(yíng)銷活動(dòng)的反應(yīng)。他補(bǔ)充說(shuō)，Aware 數(shù)十個(gè)閱讀文本和處理圖像的 AI 模型還可以識(shí)別欺凌、騷擾、歧視、違規(guī)、色情、裸露和其他行為。
Schumann 說(shuō)，Aware 的分析工具(用于監(jiān)控員工情緒和負(fù)面言論)無(wú)法標(biāo)記個(gè)別員工姓名。但他補(bǔ)充說(shuō)，如果出現(xiàn)極端威脅或其他預(yù)先由客戶確定的風(fēng)險(xiǎn)行為，其單獨(dú)的電子取證工具可以做到。
Aware 聲稱，沃爾瑪、T-Mobile、雪佛龍和星巴克使用其技術(shù)進(jìn)行治理風(fēng)險(xiǎn)和合規(guī)，這類工作占其業(yè)務(wù)的 80% 左右。
CNBC 未能收到沃爾瑪、T-Mobile、雪佛龍、星巴克或雀巢有關(guān)他們使用 Aware 的回復(fù)。阿斯利康的一位代表表示，該公司使用電子取證產(chǎn)品，但不會(huì)使用分析工具來(lái)監(jiān)控情緒或負(fù)面言論。達(dá)美航空告訴 CNBC，他們使用 Aware 的分析和電子取證工具來(lái)監(jiān)控趨勢(shì)和情緒，以此作為收集員工和其他利益相關(guān)者反饋以及保留社交媒體平臺(tái)法律記錄的一種方式。
即使不是反烏托邦小說(shuō)迷，也可以預(yù)見(jiàn)這種做法可能帶來(lái)的嚴(yán)重后果。人工智能問(wèn)責(zé)非營(yíng)利組織“仁道智能”的聯(lián)合創(chuàng)始人 Jutta Williams 表示，AI 為現(xiàn)有的內(nèi)部風(fēng)險(xiǎn)項(xiàng)目增添了新的、潛在的麻煩。多年來(lái)，這些項(xiàng)目一直用于評(píng)估例如企業(yè)間諜活動(dòng)等問(wèn)題，尤其是在電子郵件通信中。
談到更廣泛的員工監(jiān)控 AI，而不是 Aware 的特定技術(shù)，Williams 告訴 CNBC：“很多行為變成了思想犯罪。” 她補(bǔ)充說(shuō)，“這是一種我從未見(jiàn)過(guò)的以員工為庫(kù)存的對(duì)待方式?！?/p>
員工監(jiān)控 AI 是一個(gè)快速擴(kuò)張但利基部分，屬于過(guò)去一年隨著 OpenAI 的 ChatGPT 聊天機(jī)器人于 2022 年底推出而爆炸式增長(zhǎng)的更大 AI 市場(chǎng)。生成式 AI 迅速成為公司財(cái)報(bào)電話會(huì)議上的熱門話題，某種形式的技術(shù)正在幾乎所有行業(yè)自動(dòng)執(zhí)行任務(wù)，從金融服務(wù)和生物醫(yī)學(xué)研究到物流、在線旅游和公用事業(yè)。
Schumann 告訴 CNBC，過(guò)去五年，Aware 的收入平均每年增長(zhǎng) 150%，其典型客戶擁有約 30,000 名員工。主要競(jìng)爭(zhēng)對(duì)手包括 Qualtrics、Relativity、Proofpoint、Smarsh 和 Netskope。
按照行業(yè)標(biāo)準(zhǔn)，Aware 的規(guī)模相當(dāng)精簡(jiǎn)。該公司最近一次融資是在 2021 年，當(dāng)時(shí)在高盛資產(chǎn)管理公司 (Goldman Sachs Asset Management) 領(lǐng)投的一輪融資中籌集了 6000 萬(wàn)美元。相比之下，大型語(yǔ)言模型 (LLM) 公司，例如 OpenAI 和 Anthropic，每家都從戰(zhàn)略合作伙伴那里籌集了數(shù)十億美元。
實(shí)時(shí)負(fù)面跟蹤
2017 年，Schumann 在保險(xiǎn)公司 Nationwide 工作了近 8 年后創(chuàng)立了 Aware。在此之前，他是一位企業(yè)家，而 Aware 也不是他創(chuàng)辦的第一家讓人聯(lián)想到“1984”的作品。
2005 年，Schumann 成立了一家名為 BigBrotherLite.com 的公司。據(jù)其領(lǐng)英資料顯示，該公司開(kāi)發(fā)的軟件“增強(qiáng)了 CBS 真人秀節(jié)目‘老大哥’的數(shù)字和移動(dòng)觀看體驗(yàn)”。在奧威爾的經(jīng)典小說(shuō)《1984》中，“老大哥”是處于永久監(jiān)控下的極權(quán)主義國(guó)家的領(lǐng)導(dǎo)人。
Schumann 在電子郵件中表示：“我構(gòu)建了一個(gè)簡(jiǎn)單的播放器，讓用戶在計(jì)算機(jī)上觀看電視節(jié)目時(shí)獲得更干凈、更輕松的消費(fèi)者體驗(yàn)。”
在 Aware，他做了一些非常不同的事情。
該公司每年都會(huì)發(fā)布一份報(bào)告，匯總來(lái)自大型公司數(shù)十億條信息(2023 年為 65 億條)的見(jiàn)解，總結(jié)感知風(fēng)險(xiǎn)因素和工作場(chǎng)所情緒評(píng)分。Schumann 將每年在工作場(chǎng)所溝通平臺(tái)發(fā)送的數(shù)萬(wàn)億條信息稱為“世界上增長(zhǎng)最快的非結(jié)構(gòu)化數(shù)據(jù)集”。
如果將共享的其他內(nèi)容類型(例如圖像和視頻)納入其中，Aware 的分析 AI 每天會(huì)分析超過(guò) 1 億條內(nèi)容。通過(guò)這樣做，這項(xiàng)技術(shù)創(chuàng)建了一個(gè)公司社交圖，查看內(nèi)部哪些團(tuán)隊(duì)彼此之間的交流更多。
“它始終實(shí)時(shí)跟蹤員工情緒，并且始終實(shí)時(shí)跟蹤負(fù)面情緒”，Schumann 談到分析工具時(shí)說(shuō)道?！叭绻闶且患沂褂?Aware 的銀行，而且最近 20 分鐘員工情緒激增，那是因?yàn)樗麄兗w討論了一些積極的事情。這項(xiàng)技術(shù)能夠告訴他們是什么事情?！?/p>
Aware 向 CNBC 證實(shí)，它使用企業(yè)客戶的數(shù)據(jù)來(lái)訓(xùn)練其機(jī)器學(xué)習(xí)模型。該公司表示，其數(shù)據(jù)存儲(chǔ)庫(kù)包含大約 65 億條信息，代表著超過(guò) 300 萬(wàn)名獨(dú)特員工大約 200 億次單次互動(dòng)。
Schumann 說(shuō)，當(dāng)新的客戶注冊(cè)分析工具時(shí)，Aware 的 AI 模型需要大約兩周的時(shí)間才能訓(xùn)練員工信息，并了解公司內(nèi)部的情緒和情感模式，以便區(qū)分正常和異常情況。
“為了保護(hù)隱私，它不會(huì)顯示個(gè)人的姓名”，Schumann 說(shuō)。相反，他說(shuō)，客戶會(huì)看到，“例如，40 歲以上的工作人員在這個(gè)美國(guó)地區(qū)對(duì)[一項(xiàng)]政策的改變非常負(fù)面，因?yàn)槌杀締?wèn)題，但該年齡段和位置以外的所有人都持肯定態(tài)度，因?yàn)檫@會(huì)以不同的方式影響他們?！?/p>
但 Aware 的電子取證工具的操作方式有所不同。根據(jù)公司選擇的“極端風(fēng)險(xiǎn)”類別，公司可以設(shè)置基于角色的員工姓名訪問(wèn)權(quán)限，在某些情況下，指示 Aware 的技術(shù)提取個(gè)人的姓名，以便人力資源或其他公司代表進(jìn)行查看。
“一些常見(jiàn)的類別包括極端暴力、嚴(yán)重欺凌、騷擾，但這確實(shí)因行業(yè)而異”，Schumann 說(shuō)，并補(bǔ)充道，在金融服務(wù)領(lǐng)域，將跟蹤 疑似內(nèi)幕交易。
Schumann 說(shuō)，例如，客戶可以使用 Aware 的技術(shù)指定“暴力威脅”政策或任何其他類別，并讓 AI 模型在 Slack、Microsoft Teams 和 Workplace by Meta 上監(jiān)測(cè)違規(guī)行為。客戶還可以將其與針對(duì)某些特定短語(yǔ)、陳述等基于規(guī)則的標(biāo)記結(jié)合起來(lái)。如果人工智能發(fā)現(xiàn)某件事違反了公司的指定政策，它可以將員工姓名提供給客戶指定的人員代表。
這種做法在電子郵件通信中已經(jīng)使用了多年。新的部分是 AI 的使用以及其在 Slack 和 Teams 等工作場(chǎng)所消息平臺(tái)上的應(yīng)用。
紐約大學(xué) AI Now 研究所執(zhí)行董事 Amba Kak 擔(dān)心使用人工智能來(lái)幫助判斷哪些行為被視為風(fēng)險(xiǎn)。
“這會(huì)導(dǎo)致人們?cè)诠ぷ鲌?chǎng)所說(shuō)的話產(chǎn)生寒蟬效應(yīng)，”Kak 說(shuō)，并補(bǔ)充說(shuō)，聯(lián)邦貿(mào)易委員會(huì)、司法部和美國(guó)平等就業(yè)機(jī)會(huì)委員會(huì)都對(duì)此表示擔(dān)憂，盡管她沒(méi)有特別針對(duì) Aware 的技術(shù)?！斑@些既是工人權(quán)利問(wèn)題，也是隱私問(wèn)題?！?/p>
Schumann 說(shuō)，盡管 Aware 的電子取證工具允許安全或人力資源調(diào)查團(tuán)隊(duì)使用人工智能搜索大量數(shù)據(jù)，但 Slack、Teams和其他平臺(tái)“已經(jīng)存在類似但基本的類似功能”。
“這里的一個(gè)關(guān)鍵區(qū)別是，Aware 和其 AI 模型并沒(méi)有做出決策，”Schumann 說(shuō)?！拔覀兊?AI 只是讓梳理這個(gè)新的數(shù)據(jù)集以識(shí)別潛在風(fēng)險(xiǎn)或政策違規(guī)變得更容易。”
隱私擔(dān)憂
研究表明，即使數(shù)據(jù)是聚合的或匿名的，這也是一個(gè) flawed(有缺陷的)概念。一項(xiàng)使用 1990 年美國(guó)人口普查數(shù)據(jù)的 landmark(具有里程碑意義的)數(shù)據(jù)隱私研究表明，87% 的美國(guó)人僅通過(guò)郵政編碼、出生日期和性別就能被識(shí)別。使用 Aware 的分析工具的客戶可以將元數(shù)據(jù)添加到消息跟蹤中，例如員工年齡、位置、部門、任期或工作職能。
“他們所說(shuō)的是依賴一個(gè)非常過(guò)時(shí)而且可以說(shuō)已經(jīng)完全被揭穿的概念，即匿名化或聚合可以解決隱私問(wèn)題”，Kak 說(shuō)。
此外，根據(jù)最近的研究，Aware 使用的 AI 模型類型可以有效地從聚合數(shù)據(jù)中生成推論，例如，可以根據(jù)語(yǔ)言、上下文、俚語(yǔ)等準(zhǔn)確猜測(cè)個(gè)人身份標(biāo)識(shí)符。
“沒(méi)有一家公司真正能夠?qū)Υ笮驼Z(yǔ)言模型和這類系統(tǒng)的隱私和安全性做出任何全面保證，”Kak 說(shuō)?！皼](méi)有人能直截了當(dāng)告訴你這些挑戰(zhàn)已經(jīng)解決了?！?/p>
員工申訴權(quán)呢？
Williams 說(shuō)，如果互動(dòng)被標(biāo)記，工人受到紀(jì)律處分或被解雇，如果他們無(wú)法接觸所有相關(guān)數(shù)據(jù)，他們就很難進(jìn)行辯護(hù)。
“當(dāng)我們知道 AI 的可解釋性仍不成熟時(shí)，你如何面對(duì)你的指控者？”Williams 說(shuō)。
Schumann 回答說(shuō)：“我們沒(méi)有任何 AI 模型會(huì)就員工紀(jì)律做出決定或建議?！?/p>
“當(dāng)模型標(biāo)記一個(gè)互動(dòng)時(shí)，”Schumann 說(shuō)，“它會(huì)提供圍繞發(fā)生事件和觸發(fā)政策的完整背景，以便調(diào)查團(tuán)隊(duì)擁有根據(jù)公司政策和法律決定下一步所需的信息。”
本文譯自CNBC，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
