什麼是無審查LLM？

無審查LLM是經過修改以減少標準AI助手中常見的拒絕行為的開放權重語言模型。它們讓使用者對模型行為有更多控制，這使得它們對於在本機運行和實驗LLM的人特別相關。

什麼是無審查LLM？

大多數現代AI助手都經過訓練，以遵循安全規則並拒絕某些請求。這種行為可能來自於指令調整、偏好訓練、系統提示以及模型或應用程式的其他部分。

無審查LLM通常是指經過修改或訓練以減少某些拒絕行為的模型。對於「無審查」沒有單一的技術定義。不同的模型創建者可以使用不同的方法，而產生的模型可能表現得非常不同。

有些無審查模型是通過額外的微調創建的。其他則使用修改現有模型中特定行為的技術。該術語也可以指被描述為消融的模型，儘管消融是一種特定技術，而不是所有無審查模型的同義詞。

無審查並不意味著無限制

移除或減少拒絕行為並不會使模型更有能力。無審查模型仍然可能產生不正確的資訊、誤解指令或拒絕某些請求。

• 能力仍然重要：較小的模型不會僅僅因為其拒絕行為被改變就成為更好的推理者。
• 品質參差不齊：無審查模型可能因其底層模型及其修改方式而有很大差異。
• 行為不保證：無審查模型可能仍然拒絕某些請求或無法一致地遵循指令。
• 安全行為可能改變：減少拒絕也可能移除原始模型訓練中的一些保障措施。

因此，將「無審查」視為對模型行為的描述，而不是對模型能做些什麼的保證，會更有用。

無審查 vs 開放權重 vs 基礎模型

這些術語經常一起使用，但它們描述了LLM的不同方面。

這些類別可能重疊。無審查模型可以是開放權重且基於現有模型。它也可以是該模型的微調或其他修改。僅靠標籤並不能解釋模型是如何創建的。

為什麼要在本機運行無審查LLM？

在本機運行無審查LLM讓使用者對模型及其環境有更多控制。而不是依賴託管的AI服務，模型在由使用者控制的硬體上運行。

• 控制：您可以選擇模型、推論軟體和配置。
• 隱私：提示和生成的回應可以保留在您自己的計算環境中。
• 自訂：開放權重模型可以被修改、微調，並配置為不同的工作負載。
• 離線使用：本機託管的模型不需要將提示發送到外部AI服務。
• 實驗：開發人員和研究人員可以比較不同的模型版本和修改。

本機推論也讓您對運行模型的硬體有控制權。這在模型大小增加時變得重要。

無審查LLM需要什麼硬體？

無審查模型通常與其基礎模型具有相同的硬體要求。主要因素是模型大小、量化、上下文長度和推論設置。

較大的模型需要比小型模型更多的記憶體。量化可以減少加載模型所需的記憶體，使得較大的模型在VRAM較少的GPU上變得實用。

VRAM也被推論過程本身使用。KV快取和其他運行時數據需要額外的記憶體，而較長的上下文視窗可以增加所需的記憶體量。

這意味著選擇模型只是規劃本機LLM設置的一部分。GPU必須有足夠的可用VRAM來容納模型和您打算運行的工作負載。

在DaDesktop上試用

如果您想在沒有購買和安裝自己的GPU硬體的情況下運行無審查LLM，DaDesktop提供具有專用GPU資源的雲桌面。您可以在DaDesktop上運行本機LLM工作負載或比較可用的GPU選項，根據您要運行的模型進行選擇。