AI決策模型：與LLM的差異 | DaDesktop Hong Kong

決策模型近期作為一種不同的AI方法而受到關注。其中備受討論的是TypeSafe AI的Jev。Jev產生結構化的選擇、評分和信心估計，而非文字。

雖然傳統AI模型多年來已進行預測和分類，Jev專注於做出軟體可直接使用的結構化決策。這種方法提供了另一種建構AI應用程式的方式，特別是當系統需要評估資訊並選擇接下來發生的事情時。

Jev如何運作？

使用傳統的LLM時，您發送提示並接收產生的文字。即使您要求JSON，應用程式也必須處理回應並驗證其內容後才能使用。

Jev的運作方式不同。您提供一些上下文，定義要回答的問題，並指定預期的答案類型。Jev返回結構化結果，您的應用程式可以直接處理。

Jev支援三種主要的問題類型：

您可以在一個請求中詢問關於相同輸入的多個問題。例如，支援應用程式可以分類工單、評估其緊急程度，並估計是否需要人工審查。Jev以結構化格式返回結果，使應用程式可以決定下一步行動。

LLM和決策模型服務於不同的目的。LLM可以解釋決策、產生內容、編寫程式碼或推理複雜任務。Jev則專注於具有明確輸出的重點決策。

區別並不在於LLM無法做出決策。它們也可以分類資訊並返回結構化資料。Jev是專門圍繞該任務建構的，不會產生應用程式必須解釋的自由形式回應。

這使得它對於重複、明確定義的決策非常有用。對於需要詳細解釋、創造性輸出或複雜多步驟推理的任務，LLM仍然是更合適的工具。

Jev的主要特點之一是輸出包含機率和信心資訊。這些值有助於開發人員評估模型對答案的支持程度。

例如，客戶支援應用程式可能詢問是否應升級工單。如果模型指示升級的可能性很高，應用程式可以將工單發送給高級支援團隊。如果結果不確定，它可以將工單發送給人工審查。

然而，信心並不能保證正確性。模型可能非常自信，但仍然做出錯誤的決策。開發人員應根據真實範例測試其結果，並選擇適合每個決策後果的閾值。

區分答案的機率和單獨的信心分數也很重要。確切含義取決於輸出類型。應用程式應遵循模型的文檔，而不是將每個返回的數字視為相同的度量。

許多應用程式在處理傳入資訊之前需要對其進行分類。支援平台可能按主題分類請求並將其發送給正確的團隊。商業應用程式可以分類文件、電子郵件或客戶回饋。

Jev可以從預定義清單中返回類別，使應用程式能夠路由項目，而無需解析產生的段落。

決策模型也可以根據定義的尺度評估資訊。例如，應用程式可以按緊急程度對支援工單進行評分、對文件相關性進行評分，或評估回應是否符合特定標準。

結果可用於排名項目、優先處理工作或識別需要進一步審查的案例。這些決策的品質仍然取決於模型以及標準描述任務的程度。

AI代理使用模型來決定要採取哪些行動。代理可能選擇工具、分類請求，或確定任務是否需要額外資訊。

通用LLM可以作為其推理的一部分做出這些決策。決策模型可以在代理行動之前處理更狹窄的選擇。

例如，使用Hermes Agent的自訂工作流程可以使用Jev在將傳入任務傳遞給代理之前對其進行分類。它也可以幫助確定哪個工作流程應處理請求。這需要自訂整合，而不是依賴假設的原生支援。

決策模型不應被視為獨立的安全控制。如果代理可以執行命令或修改檔案，則必須透過權限和確定性規則來強制執行允許哪些操作。模型的分類可以告知該過程，但不應取代它。

Jev是更廣泛的、旨在產生結構化決策的模型類型的一部分。OpenJev和Laya是比較方法時值得探索的另外兩個項目。

OpenJev是一個與Jev方法相關的開放項目。如果您想在託管服務之外探索實作，值得檢查。在使用之前，請檢查其當前可用性、硬體需求、支援的功能和授權。

Laya是Convai Innovations的開源決策模型。它專注於從預定義選項中選擇、評分資訊以及回答是或否問題等任務。如果您想評估可以在自己環境中執行的模型，它可能相關。

這些項目應根據實際效能進行比較，而不僅僅是其宣稱的能力。使用相同的測試資料，並衡量準確性、延遲、資源需求，以及其信心估計與真實結果的匹配程度。

在本地執行模型讓您對軟體環境和資料處理位置有更多控制。然而，可用的部署選項因項目而異。Jev透過API提供，而開源替代方案可能提供在您自己的硬體上執行推理的選項。

硬體需求取決於模型大小、記憶體使用量和吞吐量。有些模型可以在CPU上執行，而其他模型則受益於GPU，特別是在處理大量請求時。

如果您想嘗試本地AI模型，DaDesktop提供具有專用GPU選項的雲端桌面。您可以使用它們進行開發和測試，而無需為本地電腦購買高階GPU。

了解更多關於執行本地LLM或探索AI代理環境。

當應用程式需要一個定義的答案來觸發特定的下一步時，決策模型非常有用。它們可以透過處理分類、評分和路由來補充LLM，而生成模型則處理語言和更複雜的推理。

最佳選擇取決於您的應用程式。使用您自己的資料測試模型，與傳統分類器和LLM進行比較，並衡量準確性、延遲和成本。對於重要決策，請在需要時包括人工審查和保障措施。

想討論您的使用案例嗎？聯繫我們，我們將為您指明正確的方向。