“FUTURE WISE”!浩鯨科技鯨智MaaS平臺突破行業三大挑戰

2024-07-02 602

智能化技術飛速發展,在運營商AI+推動下,眾多生產系統正積極融入并采納大模型技術,從而引發了對大模型需求的迅猛增長。


作為一站式模型工廠,MAAS平臺以其卓越的大模型服務能力,覆蓋了從模型數據、服務到應用賦能的全流程。然而,在實踐落地過程中,數據采集處理、模型納管微調以及模型服務保障三個環節面臨了顯著的挑戰。



2024年 MWC上海展會上,浩鯨科技展示的鯨智MAAS平臺,以“FUTURE WISE”為設計理念,成功突破了上述三大挑戰。通過提供全面的數據管理、強大的模型兼容性、高效的模型微調機制、全面的評估體系以及靈活的發布策略,鯨智MAAS平臺幫助客戶打造了強大的AI+新質生成力,助力客戶在智能化道路上不斷攀登新的高峰。


同時,浩鯨科技深度參與工信部旗下人工智能關鍵技術和應用評測重點實驗室《MaaS模型即服務技術與應用要求 第1部分:模型服務協議要求》標準編寫,獲“核心參編單位”稱號。


圖片關鍵詞



全域高質量數據供給、解決模型幻覺問題


大模型在處理特定業務場景,需要大量的高質量數據來進行訓練、微調;然而數據分布廣泛、數據格式多樣、數據內容分散,導致數據清洗和融合難度大等多重問題。


鯨智MaaS平臺在1.0基礎上強化自動化數據采集、智能化數據處理和編排式語料生成等能力,快速高效地為多重場景提供全域高質量數據組裝和供給,從而提升模型性能、減少模型幻覺、滿足特定場景需求以及加速模型迭代。



自動化數據采集:通過數據感知技術和數據理解技術,將廣泛分布且變動迅速的數據以業務實體智能擬合,并采用分片技術自動執行完成數據采集。


智能化數據處理:首先對采集數據進行結構化處理,在通過智能數據標注、智能數據連接、數據增強、數據融合等技術,形成大模型投喂的高質量Questions and answers數據隊列。


編排式語料生成:對于高質量的數據隊列,通過場景化模板、在線編排式,以拖拉拽的方式,完成數據供給。



標準化的能力納管、解決模型適配難問題


在模型納管和微調過程中,企業面臨著模型微調難度高、投入大,模型來源多樣、層級不一,不同層級模型相互依賴、算力算法數據需求差異大的三重痛點,導致實現標準化的模型納管、場景化的模型微調成為難題。


鯨智MaaS平臺通過低門檻、高效率的模型微調技術和模型血緣分析,助力企業突破模型管理瓶頸,實現低成本、一站式模型納管和微調,投入成本縮短至天,當前平臺已滿足40+大模型的透明化管理。


圖片關鍵詞



低門檻、高效率的模型微調技術:提供模型微調標準的六步法(選擇基模、創建微調任務、選擇數據集、設置超參數、模型訓練、模型評估),實現通用模型向場景模型的精調,全程低門檻、高性能的模型微調體驗。


模型自動接入:通過自動采集基模的公開信息和評測報告,形成360度感知視圖,采用插件化算法框架和硬件芯片適配,實現運行環境的自動化構建,確?;P偷目焖俑咝Ы尤肱c運行。


模型血緣分析:通過模型血緣分析智能分析不同層級模型的復雜依賴關系和環境依賴,實現分層存儲和版本控制,結合區塊鏈技術確保防篡改和可追溯。



高效率模型服務、解決模型準確性和及時性


大模型推理過程中消耗大量計算資源,運營成本高昂。過程中也存在基模與業務場景的適配難度大、門檻高,精準意圖識別因場景復雜、描述多樣,知識精準融入等綜合性問題。因此,鯨智MaaS平臺提供了智能化的解決方案,將模型切換耗時從周降至天,實現資源消耗降低20%以上,意圖識別準確率提升10%以上,為企業提供了更快、更省、更準的模型服務保障。


圖片關鍵詞



智能差距發現:通過編排式評測數據生成、自動化環境構建和資源分配、自動化指標收集等技術,實現模型場景化能力分析的自動化和高效率。


智能推理加速:通過KVCache、PagedAttention、動態批量、FlashAttion,模型編排、模型量化等技術,降低推理延遲,提高推理吞吐;同時,對客戶問題術語進行標準化,對問題條件進行參數化、問題直達,減少對大模型的調用。


精準意圖識別:采用意圖識別代理技術,通過智能問題增強、多路要素提煉、智能問題分解和綜合知識召回等多維度增強,提升了基礎大模型的意圖識別能力,實現場景化問題的精確識別,提高意圖識別的準確性。


未來已來,智慧相伴。鯨智MaaS平臺將持續以“FUTURE WISE”設計理念為基礎,以創新為驅動力,不斷優化和提升自身能力,幫助企業全面提升智能化水平,實現高效、精準、全面的AI應用。


官方微信公眾號

浩鯨云計算科技股份有限公司 版權所有 2003-2023

蘇ICP備10224443號-6       蘇公網安備 32011402011374號

亚洲精品免费视频_热99re6久精品国产首页青柠_精品国产专区91在线_亚洲美洲欧洲偷拍片区