AI 模型設置“護欄”｜英偉達發(fā)布NeMo Guardrails

IT之家 4 月 26 日消息，人工智能（AI）的發(fā)展日新月異，但也存在一些難題，比如 AI 模型有時會出現(xiàn)“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發(fā)布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟件開發(fā)者給 AI 模型設置“護欄”，防止它們產生不良的輸出。

NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內容之前進行攔截和修改。例如，如果開發(fā)者想要創(chuàng)建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談論相關的產品，而不能談論競爭對手的產品或其他不相關的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發(fā)者希望的話題上。

該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。

英偉達還提供了另一個例子，一個用于回答內部企業(yè)人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關于公司財務狀況的問題或訪問其他員工的私人數據。

英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。

NeMo Guardrails 是開源的，并通過英偉達服務提供，可以用于商業(yè)應用，開發(fā)者將使用 Colang 編程語言來為 AI 模型編寫自定義規(guī)則。

據IT之家搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強化學習的方法來防止 LLM 應用產生有害的輸出。這種方法使用人類測試者來創(chuàng)建關于哪些答案是可接受或不可接受的數據，然后使用這些數據來訓練 AI 模型。

英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創(chuàng)建這項技術所需芯片的市場主導地位，其股價在 2023 年迄今為止上漲了 85%，成為標準普爾 500 指數中漲幅最大的股票。