實在智能全網首發(fā)IPA模式及智能屏幕語義理解技術|開啟RPA可視化

12月7日,國內人工智能行業(yè)準獨角獸“實在智能”2022冬季新品發(fā)布會重磅登場:“蝶變·新番”“帶來一場震撼行業(yè)的RPA發(fā)布會!打破傳統(tǒng),變革模式。本次發(fā)布會從功能和體驗兩個維度帶來了實在的“科技與狠活”,一言以蔽之:“一款真正人人可用的RPA。

實在智能CEO孫林君、產品負責人周春照、算法負責人歐陽小剛發(fā)布新產品和新技術

創(chuàng)業(yè)四年,實在智能始終秉持“AI賦能商業(yè)”的初心,堅定相信人機協(xié)同及超自動化時代的美好未來。凡事必作于細,也必成于實,致力于不斷突破傳統(tǒng)RPA的天花板,降低大眾人群上手數(shù)字化工具的門檻,提升用戶體驗。

新模式:沉浸式搭建超自動化流程的IPA模式

新技術:智能屏幕語義理解技術(ISSUT)

沉浸式搭建超自動化流程的IPA模式,徹底打破RPA軟件應用門檻,開啟RPA“可視化窗口”時代:

相信大家正在用手機閱讀這篇文章,那么不知您是否還記得2007年蘋果公司的iPhone首次發(fā)布會。觸屏手機的發(fā)明徹底改變了手機和消費電子產品行業(yè),大幅降低手機的使用門檻,讓手機全面普及,推動了移動互聯(lián)網時代的爆發(fā)。這是一個用技術顛覆行業(yè),并讓全社會受益的經典案例。

沉浸式搭建超自動化流程的IPA模式,由“專家模式”邁向“小白模式”

傳統(tǒng)RPA軟件,其實是一種“專家模式”。即,用戶如果想配置自動化操作,必須要先學會如何使用RPA軟件,進而才能在RPA軟件與業(yè)務軟件之間不斷切換,逐步以“拖拉拽”或“寫代碼”的方式,完成自動化流程配置。

而實在RPA的IPA模式,則完全不同,簡言之這是一種“小白模式”。用戶不需要額外學習使用實在RPA,也完全不需要“拖拉拽”或“寫代碼”,按照正常流程直接操作業(yè)務軟件即可。

每當鼠標懸停,實在RPA會自動推薦(并可在線學習優(yōu)化推薦)此處可以/可能進行的自動化操作。

每當鼠標點擊,該步操作自動轉為自動化流程中的一步。由此迭代,任何新手都可以迅速搭建自己的數(shù)字員工。

傳統(tǒng)RPA“專家模式” vs 實在RPA“IPA模式/小白模式”

實在RPA的IPA模式,類似觸屏手機的顛覆式創(chuàng)新,徹底推平了橫亙在用戶面前,導致傳統(tǒng)RPA學習成本大、使用門檻高的三座大山——“拾取、元素和變量”,帶來了真正的人人可用,實現(xiàn)“打開就能用、入門就上手”。

不妨來聽聽行業(yè)專家、專業(yè)用戶提前嘗鮮體驗的反饋集錦:

震撼一:沉浸式的超自動化體驗,識別一切,操作一切

· 不再需要傳統(tǒng)RPA軟件的“流程畫布”,把“更大,更寬,更全面”的電腦屏幕留給用戶。

· 不再需要傳統(tǒng)RPA軟件的“拖拉拽”,鼠標懸停+鼠標點擊,即可完成自動化流程配置。

· 不再需要傳統(tǒng)RPA軟件與應用軟件之間所必須的頻繁切換,基于對所有屏幕元素的識別和理解,以及頂部“靈動島” + 側邊“流程窗”的輕盈交互,實現(xiàn)在超自動化的元宇宙中快速打造數(shù)字員工。

震撼二:所見即所得的操作,一看就會,一用就對

無需學習:不用理解和記憶“組件/元素/變量”,不用“拖拉拽”,不用“寫代碼”。

無需思考:

· 鼠標懸停,馬上彈出可能的自動化操作推薦列表

· 鼠標框選任意圖像區(qū)域后,馬上彈出可能的AI能力推薦列表(文字識別等)

· 支持基于場景和動作的在線學習,用得越多越“聰明”,推薦越準。

無需轉化:鼠標點擊,馬上在“流程窗”中自動生成自動化流程。

自動理解上千種圖標含義復雜頁面結構并預測推薦自動化操作

為了更清晰、更全面地展示IPA模式的強大功能,這里用日常工作中最常見、使用頻率最高的Excel數(shù)據(jù)處理做個簡單演示。任何直接對數(shù)據(jù)表的操作,不僅包括,插入行或列,寫入單元格或區(qū)域內容,自動填充、數(shù)據(jù)篩選、復制行列、插入新的sheet、重命名sheet、表格里內容的查找替換等。

甚至是,復雜的數(shù)據(jù)透視操作。都會在右側“流程窗”中自動生成自動化流程,并自動忽略無效步驟,且可以直接運行。這種所見即所得的數(shù)字員工搭建方式,大幅提升數(shù)據(jù)采集和處理效率,降低了數(shù)據(jù)自動化處理門檻。

對Excel的人工操作自動生成簡潔可執(zhí)行的自動化流程。基于以上模式,以某客戶真實場景的Excel自動化操作需求為例:

使用傳統(tǒng)RPA:相對資深的RPA開發(fā)工程師需花4個多小時,通過50多個組件才能完成搭建。

使用實在RPA的IPA模式:無需RPA開發(fā)工程師,業(yè)務人員自身只需短短6分鐘左右即可完成,“流程窗”中生成的動作只有32個,前所未有地提升了工作效率。同時,IPA模式還支持對復雜頁面數(shù)據(jù)結構的自動分析,實現(xiàn)一鍵采集整個表格數(shù)據(jù)。

二、創(chuàng)新技術:國產自研,行業(yè)首創(chuàng)的智能屏幕語義理解技術

本次發(fā)布會上,實在智能同時重磅發(fā)布了IPA模式背后的全自研創(chuàng)新技術——智能屏幕語義理解技術(ISSUT:Intelligence Screen Semantics Understanding Techonology)。

產品是表,技術是里。

用心優(yōu)化,用AI改變。

看到這里,相信大家已經領略了IPA模式的神奇和驚艷,下面我們就抽絲剝繭、正式拆解一下IPA模式背后“變戲法的帽子”:

Action 1:識別屏幕

1、融合拾取3.0技術:使得“元素”皆可拾取

RPA行業(yè)中提到的“元素”,指的是屏幕上的圖標、文字或區(qū)域。RPA要首先識別它們,然后才能自動地點擊和操作它們。

基于CV技術的融合拾取,支持無差別識別各類軟件

實在智能在2022年3月31日“AI你所愛 新益求新”發(fā)布會中全行業(yè)首發(fā)了“融合拾取3.0”技術,高效精準地解決了復雜元素的識別和操作。

融合拾取技術持續(xù)快速迭代,精度速度大幅提升

在前期工作基礎上,本次發(fā)布的ISSUT技術,解決了“何為元素、能否識別”等問題,只需鼠標輕輕一移、輕輕一點就能完成拾取元素這個動作。這是實現(xiàn)智能屏幕語義理解的第一步,也是實現(xiàn)RPA真正人人可用的第一步!

2、動態(tài)元素匹配技術:使得“元素”一鍵適配

RPA行業(yè)中提到的“元素”,指的是屏幕上的圖標、文字或區(qū)域。RPA要首先識別它們,然后才能自動地點擊和操作它們。當文字內容或圖標外觀發(fā)生了改變時, RPA機器人有可能會找不到之前的元素。這時就是動態(tài)元素匹配技術的用武之地:

· 借助AI算法,輕松處理元素變化情況

· 一次識別,永久適配

Action 2:理解屏幕

1、頁面結構分析技術:既能檢得更小,也能看得更大

舉個栗子:

當我們使用聊天軟件的時候,人可以輕松理解軟件界面(電腦屏幕),知道哪里是消息列表,哪里是對話輸入框……那么問題來了,RPA機器人如何準確、快速、更好地模擬人工操作呢?

為此,我們引入了頁面結構分析技術,使得實在RPA在“認識屏幕”之外,更可以“理解屏幕”,并可自適應頁面拉伸/移動/及文字填充/位移等各種變化情況。其中包含多項獨創(chuàng)技術亮點:

· 頁面圖神經網絡分析

· 動態(tài)縮放自適應

· 區(qū)域內容填充識別

通過頁面結構分析技術智能理解聊天軟件界面

2、屏幕語義抽取技術:隔屏取物,懂你所見

這項技術,使得IPA模式真正像人一樣理解屏幕的每一個部分,將我們的辦公直覺投射到屏幕上,實現(xiàn)真正的所見即所得:

在VR中,我們可以隔空取物;在實在RPA的IPA模式中,我們可以隔“屏”取物——即,鼠標的每一次滑動,背后的AI算法都將瞬間完成一次計算,分析出屏幕中元素和區(qū)域的含義并且推薦相應的自動化操作:

· 當鼠標滑過一個瀏覽器圖標,AI就知道它能用來打開網頁和搜索新聞;

· 當鼠標滑過一個對話框,AI就判斷可以輸入文字并發(fā)送消息;

· 當鼠標框選一個包含各種文字的區(qū)域,AI就知道可以進行文字識別及抽取。

Action 3:操作預測:

1、多模態(tài)意圖預測從“頭禿想想想”到“自如點點點”

對于傳統(tǒng)RPA(“專家模式”)RPA開發(fā)工程師往往需要從一堆的組件中找到一個想要的組件,通過“想想想+拖拉拽”完成自動化流程配置;

對于實在RPA(“IPA模式/小白模式”)多模態(tài)意圖預測技術,可以支持通過多模態(tài)識別和序列上下文挖掘等方法,精準預測用戶的每一個操作意圖,抹平了從業(yè)務場景操作到RPA組件之間的理解鴻溝:

· 用戶的每一次點擊就是一次拾取;

· 用戶的每一步操作都在配置流程。

應用軟件操作回到臺前,RPA開發(fā)退回到幕后,實現(xiàn)二者的真正分離。

2、業(yè)務感知推薦:理解場景,操作業(yè)務

結合表格檢測、場景預測和自然語言處理技術,實在RPA的IPA模式。不僅可以,自動推薦原子級操作(點擊圖標、輸入文字、鼠標移動);還可以,基于業(yè)務場景理解,自動推薦業(yè)務級操作:

· 打開網站登錄頁面,鼠標劃過登錄區(qū)域,自動推薦「智能登錄」操作;

· 打開商品列表頁面,鼠標劃過任何帶有數(shù)據(jù)區(qū)域,自動推薦「數(shù)據(jù)采集」操作。

通過多模態(tài)意圖預測技術,感知業(yè)務場景并推薦自動化操作

Action 4:在線學習

本次發(fā)布會還有一個功能彩蛋:實在RPA的IPA模式支持在線學習和迭代優(yōu)化。這也正是AI產品的魅力之所在!根據(jù)用戶的反饋,算法模型將通過在線學習技術和自動優(yōu)化機制,能夠記住選擇和喜好,用的越多,推薦越準。

值得一提的是,所有模型算法都內置在用戶本地辦公環(huán)境,操作習慣和數(shù)據(jù)均不會通過網絡上傳,并且配置有防護機制,最大限度地保護用戶數(shù)據(jù)隱私安全。從這個意義而言,實在RPA的IPA模式:

· 不僅是人人可用的沉浸式超自動化流程配置模式,更是千人千面的個性化數(shù)字員工搭建工具。

· 通過技術的“儀式感”,讓每個人都擁有專屬的、尊重數(shù)據(jù)隱私的超級自動化產品。

“蝶變”意味著破繭而出,羽化成蝶。本次發(fā)布會選此作為主題,寓意著快速大量的產品創(chuàng)新和功能迭代為實在RPA帶來的破繭成蝶,真正實現(xiàn)RPA成為人人可用——也標志著實在智能超級自動化平臺正式躍入“新、廣、信、強”的階段。越過山丘,IPA模式引領超自動化全新時代。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )