鯨品堂|WhaleDI自助建模實踐與探索

2022-11-01 57

1


AI應用爆發式增長

但“建?!敝啡耘f挑戰重重


在過去的十年里,深度學習等技術的出現,讓AI迎來了蓬勃發展的第三次浪潮。目前AI能力已經在銀行、商超、小額支付、城市軌道交通等各行業得到了廣泛的應用,例如人臉識別、圖像識別、證件類文字提取等。但隨著更多創新的智能化應用的爆發式增長,如智慧社區的高空拋物,智慧小區的電瓶車入電梯,餐飲行業中的明廚亮灶等,針對各行各業的越來越復雜的應用場景,如何去解決AI方面的專業人才不足、算法開發成本高、訓練周期長、建模效率低以及投入產出結果不可控等問題就成了AI賦能應用落地的難題。

圖片關鍵詞

面對AI建模的挑戰與困難,自助建模應運而生,它是幫助用戶實現AI應用的低門檻、零代碼的模型開發工具。業務人員無需專業的開發基礎和編碼能力,只需上傳數據集,通過自助建模界面引導和簡單操作即可完成模型訓練和部署,數小時便可輕松獲得AI模型。



2


自助建模如何賦能應用?



OCR是近年比較火熱的領域。像身份證識別、車牌識別等都需要運用到OCR技術,而像身份證識別的場景又非常多。比如,如支付寶、微信、小程序應用里的身份認證功能,上傳的身份證圖片經過識別后,無需人工干預就可將身份信息提取出來完成認證,十分方便。那么我們的AI又是如何在這種具體業務場景中提供匹配的能力呢?其中要經過什么樣的流程,才能最終賦能應用?對于開發者來說,通過對具體案例流程的了解,就能夠快速的掌握開發所需要的能力,從而實現自主創新開發。下面,我們就以“為身份證國徽面OCR識別進行AI建模”這個場景為例,與大家一同展開探究。


圖片關鍵詞






建模流程



自助建模不同于高代碼建模方式,它的業務目標是提供流程化操作界面,滿足用戶從上傳文件、數據標注到自動化建模和模型部署在一個可視化配置頁面中完成,從而大大減少建模難度和提高建模效率。


以身份證國徽面OCR識別為例,來詳細介紹自助建模的流程:

圖片關鍵詞



業務人員提供身份證國徽面OCR識別需求說明;


業務人員上傳少量身份證國徽面樣本并進行標注;


業務人員通過界面化引導與操作進行自動化訓練與模型部署流程,可即時體驗效果;


業務人員對身份證國徽面OCR識別的能力驗收和試用。



在整個自助建模流程中,業務人員可完成建模的全流程操作,無需算法工程師直接參與,也無需進行代碼編寫,則可完成身份證國徽面OCR識別場景的建模,經過模型部署后,則可完成對上層應用賦能。


工欲善其事,必先利其器,所以開始自助建模之前我們還是要選擇一個合適的建模工具,人在江湖走怎么能沒有一個響亮的名號和趁手的武器呢,WhaleDI自助建模就是我們要介紹的工具。那么有些朋友可能會好奇了,我們自助建模工具到底有何"超強技能"來支撐業務應用?以OCR識別的場景舉例:






核心功能一:樣本數據生成器,解決樣本數量問題



在實際生產中,樣本數據對建模非常重要,由于業務局限與樣本數據安全問題,很難搜集到業務場景所需的樣本數據,若基于少量的樣本數據進行模型訓練,生成的模型效果會比較差,往往達不到生產的要求。


構建自動預處理的樣本生成器,通過少量的樣本數據,進行標注?;谝褬俗祿?,將標注區內容抹除,生成數據模板,再基于此模板生成大量模擬樣本,從而快速擴展樣本集規模,滿足實際情況所用樣本集。


圖片關鍵詞


如圖1,從業務中搜集到的樣本集,整理其中不同字段文本的業務規則,包括機關名稱字段、時間期限字段,并進行樣本標注。


如圖2,對樣本數據去除標注區域文字得到模板樣本,再從對應的文本語料庫中生成文本圖片,再進行樣本的顏色、亮度、對比度、文字大小、形狀等進行調節,合成到模板樣本中,從而生成樣本。


如圖3,大規模生成業務生產中所需樣本,解決樣本不足的問題。






核心功能二:內置不同場景預訓練模型功能,提升模型效果



為實現建模全流程自動化,降低技術門檻,提升建模效率,讓完全不懂代碼的用戶也可進行訓練建模,減少對算法技術不懂的恐懼,工具中內置預訓練模型,如:圖像檢測、OCR識別、圖像分類、文本分類等,用戶可以根據使用場景進行選擇。


當使用OCR識別場景時,在實際生產過程中,由于拍攝時,角度不一定都是正面的,會存在90°,180°,270°等旋轉角度的情況,導致建模的時候,無法識別,建模的準確率降低。為了解決這一個問題,內置預訓練模型則會進行校正圖片的方向,最終會輸出正方向的圖片進行處理。


圖片關鍵詞


針對檢測內容區域,會存在目標文字截斷的情況,同時,對文字識別需要編寫大量的規則分類,很難覆蓋生產中能遇到真實場景,且模型較為復雜不具備性能優勢,模型效果較差。而內置預訓練模型,則會在進行文字檢測后生成結果時,便進行文字分類,只檢測圖片區域中的關鍵文字內容,從而降低檢測干擾以及文字截斷的情況,提高文本檢測的性能。


針對文字識別,通用文字識別字典覆蓋漢字不夠完全,遇到生僻字、變形字、扭曲字等情況,識別準確率較低,而內置預訓練模型,進行數據增強提升:



(1)識別字典,構建出涵蓋漢字、字母、數字、符號等多種類型的文字字符,同時,能覆蓋出現頻次較高的生僻字或詞。


(2)基于百萬級別數據進行優化文字識別模型,提高模型準確率,增強識別效果。





核心功能三:生成模型評估詳情,提供可視化樣本分析功能



在訓練得到模型之后,整個建模過程還不能算結束,往往還需要對模型進行評估。一般很難一次性得到滿意的模型,我們需要反復的進行樣本數據的分析,參數調整,不斷重復迭代訓練生成模型。根據封裝的模型評估腳本,可以針對測試集生成模型的指標,如準確率、精確率、召回率、F1值等。但模型指標,只能知道模型的效果,當我們根據模型指標發現效果不好時,怎樣通過樣本分析提高模型效果?


我們進行標注時,會通過標簽來標記標注的內容,當模型識別出結果后,會根據標簽也生成一個結果,通過兩者進行比對,則能知道識別的內容是否準確,同時篩選出該負樣本數據。如下圖:


圖片關鍵詞


若篩選出負樣本后,則可對樣本數據進行判斷,標注區域是否有問題。常見問題如:標注區域是否覆蓋住標注內容等。若發現是識別的不準,可以選擇更換模型語料庫,然后再次對負樣本進行標注檢查,生成模板,生成樣本數據,進行迭代訓練輸出模型。






核心功能四:模型迭代流程化,解決建模效率低問題



圖片關鍵詞


基于訓練后的模型效果,若不滿意,可返回上傳樣本集步驟,優化完善樣本集、自動化參數組合調優,再次進行模型訓練,即可訓練出新模型版本,從而完成流程化迭代,保障模型效果最佳性并持續可優化。我們這種流程化的自助建模工具,可以簡化用戶的操作,用戶只需通過步驟指導進行迭代訓練模型即可。極大地減少了使用難度,有效提高用戶建模效率,滿足AI快速落地的場景應用。



3


自助建模為什么能支撐AI快速落地場景應用?



智能應用場景落地困難,在開篇提及的一系列問題以及挑戰,其本質在于AI建模規?;?、流程化、模塊化、工具化能力不足。如果能簡化智能應用的建模開發周期,面向樣本數據、算法腳本、模型等內容形成便捷易用的工具體系,使工具標準化、統一化,實現模型算法的可構建、可復用、可迭代,方可確保支撐AI快速落地場景應用。

圖片關鍵詞

自助建模就是流程化、模塊化、工具化的自動化建模工具,它把算法建模的難點全部進行預置與封裝,如,具備內置的預訓練模型算法、已封裝的高級參數設置等。整個流程可由業務人員自助完成,可依托少量樣本數據,便能快速高效進行建模??赏ㄟ^流程化的模型迭代,進行自動化建模調優,保障模型效果。其特征以及作用如下:




(1)建模業務化:業務人員、無編程能力的小白,也能快速上手,無需耗費大量時間進行編碼與調參優化即可自助完成AI建模,大大降低了技術門檻及開發成本。


(2)標注自助化:自助上傳樣本集文件、進行少量樣本數據標注,則自動模擬生成生產所需樣本數據,極大的提高了樣本標注的人力與時間成本。


(3)訓練自動化:對標注好的樣本集,進行自動化模型訓練與部署,縮短建模周期時長以及提升建模效率。


(4)迭代流程化:業務發生變化或模型老化效果跟不上時,可通過更新樣本集,經過流程化界面進行標注、自動化訓練即可完成模型的迭代更新。通過模型流程化迭代,可快速進行迭代更新應用場景所需的模型,以支撐快速落地的AI場景應用。




官方微信公眾號

浩鯨云計算科技股份有限公司 版權所有 2003-2023

蘇ICP備10224443號-6       蘇公網安備 32011402011374號

亚洲精品免费视频_热99re6久精品国产首页青柠_精品国产专区91在线_亚洲美洲欧洲偷拍片区