想象一下奧威爾的《1984》的場景，現(xiàn)在，你的工作場所也可能出現(xiàn)類似情形。人工智能 (AI) 正在分析你 Slack、Teams、Zoom 等常用應(yīng)用上的聊天內(nèi)容。
據(jù)美國知名初創(chuàng)公司 Aware 透露，沃爾瑪、達美航空、T-Mobile、雪佛龍和星巴克等大型美國雇主，以及雀巢和阿斯利康等歐洲品牌，都已采用其服務(wù)來監(jiān)控員工之間的聊天內(nèi)容。
Aware 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Jeff Schumann 表示，AI 可以幫助公司“了解溝通中的風(fēng)險”，實時了解員工情緒，而不是依賴一年或兩次的年度調(diào)查。
Schumann 指出，客戶可以通過 Aware 的匿名數(shù)據(jù)分析產(chǎn)品，查看不同年齡段或特定地區(qū)員工對新公司政策或營銷活動的反應(yīng)。他補充說，Aware 數(shù)十個閱讀文本和處理圖像的 AI 模型還可以識別欺凌、騷擾、歧視、違規(guī)、色情、裸露和其他行為。
Schumann 說，Aware 的分析工具(用于監(jiān)控員工情緒和負面言論)無法標(biāo)記個別員工姓名。但他補充說，如果出現(xiàn)極端威脅或其他預(yù)先由客戶確定的風(fēng)險行為，其單獨的電子取證工具可以做到。
Aware 聲稱，沃爾瑪、T-Mobile、雪佛龍和星巴克使用其技術(shù)進行治理風(fēng)險和合規(guī)，這類工作占其業(yè)務(wù)的 80% 左右。
CNBC 未能收到沃爾瑪、T-Mobile、雪佛龍、星巴克或雀巢有關(guān)他們使用 Aware 的回復(fù)。阿斯利康的一位代表表示，該公司使用電子取證產(chǎn)品，但不會使用分析工具來監(jiān)控情緒或負面言論。達美航空告訴 CNBC，他們使用 Aware 的分析和電子取證工具來監(jiān)控趨勢和情緒，以此作為收集員工和其他利益相關(guān)者反饋以及保留社交媒體平臺法律記錄的一種方式。
即使不是反烏托邦小說迷，也可以預(yù)見這種做法可能帶來的嚴重后果。人工智能問責(zé)非營利組織“仁道智能”的聯(lián)合創(chuàng)始人 Jutta Williams 表示，AI 為現(xiàn)有的內(nèi)部風(fēng)險項目增添了新的、潛在的麻煩。多年來，這些項目一直用于評估例如企業(yè)間諜活動等問題，尤其是在電子郵件通信中。
談到更廣泛的員工監(jiān)控 AI，而不是 Aware 的特定技術(shù)，Williams 告訴 CNBC：“很多行為變成了思想犯罪?！?她補充說，“這是一種我從未見過的以員工為庫存的對待方式?！?/p>
員工監(jiān)控 AI 是一個快速擴張但利基部分，屬于過去一年隨著 OpenAI 的 ChatGPT 聊天機器人于 2022 年底推出而爆炸式增長的更大 AI 市場。生成式 AI 迅速成為公司財報電話會議上的熱門話題，某種形式的技術(shù)正在幾乎所有行業(yè)自動執(zhí)行任務(wù)，從金融服務(wù)和生物醫(yī)學(xué)研究到物流、在線旅游和公用事業(yè)。
Schumann 告訴 CNBC，過去五年，Aware 的收入平均每年增長 150%，其典型客戶擁有約 30,000 名員工。主要競爭對手包括 Qualtrics、Relativity、Proofpoint、Smarsh 和 Netskope。
按照行業(yè)標(biāo)準，Aware 的規(guī)模相當(dāng)精簡。該公司最近一次融資是在 2021 年，當(dāng)時在高盛資產(chǎn)管理公司 (Goldman Sachs Asset Management) 領(lǐng)投的一輪融資中籌集了 6000 萬美元。相比之下，大型語言模型 (LLM) 公司，例如 OpenAI 和 Anthropic，每家都從戰(zhàn)略合作伙伴那里籌集了數(shù)十億美元。
實時負面跟蹤
2017 年，Schumann 在保險公司 Nationwide 工作了近 8 年后創(chuàng)立了 Aware。在此之前，他是一位企業(yè)家，而 Aware 也不是他創(chuàng)辦的第一家讓人聯(lián)想到“1984”的作品。
2005 年，Schumann 成立了一家名為 BigBrotherLite.com 的公司。據(jù)其領(lǐng)英資料顯示，該公司開發(fā)的軟件“增強了 CBS 真人秀節(jié)目‘老大哥’的數(shù)字和移動觀看體驗”。在奧威爾的經(jīng)典小說《1984》中，“老大哥”是處于永久監(jiān)控下的極權(quán)主義國家的領(lǐng)導(dǎo)人。
Schumann 在電子郵件中表示：“我構(gòu)建了一個簡單的播放器，讓用戶在計算機上觀看電視節(jié)目時獲得更干凈、更輕松的消費者體驗?！?/p>
在 Aware，他做了一些非常不同的事情。
該公司每年都會發(fā)布一份報告，匯總來自大型公司數(shù)十億條信息(2023 年為 65 億條)的見解，總結(jié)感知風(fēng)險因素和工作場所情緒評分。Schumann 將每年在工作場所溝通平臺發(fā)送的數(shù)萬億條信息稱為“世界上增長最快的非結(jié)構(gòu)化數(shù)據(jù)集”。
如果將共享的其他內(nèi)容類型(例如圖像和視頻)納入其中，Aware 的分析 AI 每天會分析超過 1 億條內(nèi)容。通過這樣做，這項技術(shù)創(chuàng)建了一個公司社交圖，查看內(nèi)部哪些團隊彼此之間的交流更多。
“它始終實時跟蹤員工情緒，并且始終實時跟蹤負面情緒”，Schumann 談到分析工具時說道?！叭绻闶且患沂褂?Aware 的銀行，而且最近 20 分鐘員工情緒激增，那是因為他們集體討論了一些積極的事情。這項技術(shù)能夠告訴他們是什么事情?！?/p>
Aware 向 CNBC 證實，它使用企業(yè)客戶的數(shù)據(jù)來訓(xùn)練其機器學(xué)習(xí)模型。該公司表示，其數(shù)據(jù)存儲庫包含大約 65 億條信息，代表著超過 300 萬名獨特員工大約 200 億次單次互動。
Schumann 說，當(dāng)新的客戶注冊分析工具時，Aware 的 AI 模型需要大約兩周的時間才能訓(xùn)練員工信息，并了解公司內(nèi)部的情緒和情感模式，以便區(qū)分正常和異常情況。
“為了保護隱私，它不會顯示個人的姓名”，Schumann 說。相反，他說，客戶會看到，“例如，40 歲以上的工作人員在這個美國地區(qū)對[一項]政策的改變非常負面，因為成本問題，但該年齡段和位置以外的所有人都持肯定態(tài)度，因為這會以不同的方式影響他們。”
但 Aware 的電子取證工具的操作方式有所不同。根據(jù)公司選擇的“極端風(fēng)險”類別，公司可以設(shè)置基于角色的員工姓名訪問權(quán)限，在某些情況下，指示 Aware 的技術(shù)提取個人的姓名，以便人力資源或其他公司代表進行查看。
“一些常見的類別包括極端暴力、嚴重欺凌、騷擾，但這確實因行業(yè)而異”，Schumann 說，并補充道，在金融服務(wù)領(lǐng)域，將跟蹤 疑似內(nèi)幕交易。
Schumann 說，例如，客戶可以使用 Aware 的技術(shù)指定“暴力威脅”政策或任何其他類別，并讓 AI 模型在 Slack、Microsoft Teams 和 Workplace by Meta 上監(jiān)測違規(guī)行為?？蛻暨€可以將其與針對某些特定短語、陳述等基于規(guī)則的標(biāo)記結(jié)合起來。如果人工智能發(fā)現(xiàn)某件事違反了公司的指定政策，它可以將員工姓名提供給客戶指定的人員代表。
這種做法在電子郵件通信中已經(jīng)使用了多年。新的部分是 AI 的使用以及其在 Slack 和 Teams 等工作場所消息平臺上的應(yīng)用。
紐約大學(xué) AI Now 研究所執(zhí)行董事 Amba Kak 擔(dān)心使用人工智能來幫助判斷哪些行為被視為風(fēng)險。
“這會導(dǎo)致人們在工作場所說的話產(chǎn)生寒蟬效應(yīng)，”Kak 說，并補充說，聯(lián)邦貿(mào)易委員會、司法部和美國平等就業(yè)機會委員會都對此表示擔(dān)憂，盡管她沒有特別針對 Aware 的技術(shù)。“這些既是工人權(quán)利問題，也是隱私問題?！?/p>
Schumann 說，盡管 Aware 的電子取證工具允許安全或人力資源調(diào)查團隊使用人工智能搜索大量數(shù)據(jù)，但 Slack、Teams和其他平臺“已經(jīng)存在類似但基本的類似功能”。
“這里的一個關(guān)鍵區(qū)別是，Aware 和其 AI 模型并沒有做出決策，”Schumann 說?！拔覀兊?AI 只是讓梳理這個新的數(shù)據(jù)集以識別潛在風(fēng)險或政策違規(guī)變得更容易。”
隱私擔(dān)憂
研究表明，即使數(shù)據(jù)是聚合的或匿名的，這也是一個 flawed(有缺陷的)概念。一項使用 1990 年美國人口普查數(shù)據(jù)的 landmark(具有里程碑意義的)數(shù)據(jù)隱私研究表明，87% 的美國人僅通過郵政編碼、出生日期和性別就能被識別。使用 Aware 的分析工具的客戶可以將元數(shù)據(jù)添加到消息跟蹤中，例如員工年齡、位置、部門、任期或工作職能。
“他們所說的是依賴一個非常過時而且可以說已經(jīng)完全被揭穿的概念，即匿名化或聚合可以解決隱私問題”，Kak 說。
此外，根據(jù)最近的研究，Aware 使用的 AI 模型類型可以有效地從聚合數(shù)據(jù)中生成推論，例如，可以根據(jù)語言、上下文、俚語等準確猜測個人身份標(biāo)識符。
“沒有一家公司真正能夠?qū)Υ笮驼Z言模型和這類系統(tǒng)的隱私和安全性做出任何全面保證，”Kak 說?！皼]有人能直截了當(dāng)告訴你這些挑戰(zhàn)已經(jīng)解決了?！?/p>
員工申訴權(quán)呢？
Williams 說，如果互動被標(biāo)記，工人受到紀律處分或被解雇，如果他們無法接觸所有相關(guān)數(shù)據(jù)，他們就很難進行辯護。
“當(dāng)我們知道 AI 的可解釋性仍不成熟時，你如何面對你的指控者？”Williams 說。
Schumann 回答說：“我們沒有任何 AI 模型會就員工紀律做出決定或建議?！?/p>
“當(dāng)模型標(biāo)記一個互動時，”Schumann 說，“它會提供圍繞發(fā)生事件和觸發(fā)政策的完整背景，以便調(diào)查團隊擁有根據(jù)公司政策和法律決定下一步所需的信息?！?/p>
本文譯自CNBC，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
