近日,商業(yè)信息查詢平臺天眼查披露了一項引人注目的專利授權(quán)信息。據(jù)悉,與知名人物Kimi有所關(guān)聯(lián)的北京月之暗面科技有限公司,成功獲得了一項名為“一種大語言推理系統(tǒng)及方法”的專利授權(quán)。
這項專利的核心內(nèi)容,圍繞一種創(chuàng)新的大語言推理系統(tǒng)展開。該系統(tǒng)巧妙地融合了多個關(guān)鍵組件,包括至少一個預(yù)填充計算單元、生成計算單元以及緩存單元,共同協(xié)作以優(yōu)化語言推理過程。
具體而言,預(yù)填充計算單元扮演著至關(guān)重要的角色。它能夠根據(jù)當前的推理請求以及過往的推理資源,進行智能化的預(yù)填充操作,從而生成當前推理所需的數(shù)據(jù),并將這些數(shù)據(jù)分別傳遞給生成計算單元和緩存單元。
生成計算單元接收到這些數(shù)據(jù)后,便開始發(fā)揮其核心作用。它利用預(yù)設(shè)的大語言模型,對當前推理數(shù)據(jù)進行深度分析,并據(jù)此生成當前結(jié)果字。隨后,這些結(jié)果字被進一步加工成完整的推理結(jié)果,并發(fā)送至緩存單元存儲,同時,當前結(jié)果字也被直接輸出至用戶端,以供查看。
緩存單元在整個系統(tǒng)中同樣不可或缺。它不僅負責(zé)保存當前的推理數(shù)據(jù)、推理請求以及推理結(jié)果,還能夠根據(jù)推理請求的快速訪問需求,提供高效的數(shù)據(jù)檢索服務(wù),進一步提升了系統(tǒng)的整體性能。
值得注意的是,這項專利所提出的技術(shù)方案,旨在顯著減少推理過程中的計算量,從而在保證推理效率的同時,大幅提升推理結(jié)果自然語言的流暢性與連續(xù)性。這無疑為人工智能領(lǐng)域的大語言推理技術(shù),帶來了新的突破和發(fā)展方向。