如何從 Nvidia GPU 運行您自己的本機 ChatGPT。該工具設定和使用都很簡單。有一些非常好的功能。
您可能已經注意到，像 Google Gemini 和 ChatGPT 這樣的生成式 AI 工具正越來越多地滲透到我們的生活中。這些工具依賴大型語言模型 (LLM)，即經過大量資料訓練的網絡，能夠產生真實的文字、圖像甚至影片。您不需要雲端應用程式來存取這些 LLM，您可以在自己的電腦上完成。因此，您無需連接即可從中受益，並且不必擔心您的提示和對話會到達 Google 或 OpenAI。 Nvidia 推出了自己的本地 LLM 應用程序，利用 RTX 30 和 RTX 40 顯示卡的強大功能，稱為與 RTX 聊天。以下是如何利用它。
在開始之前，請確保您的顯示卡擁有最新的驅動程序，GeForce Experience 應用程式可以幫助您解決此問題，然後前往與 RTX 下載頁面聊天。要啟動該工具，您必須視窗11、GeForce RTX 30/40 或 RTX Ampere 或 Ada 卡，至少具有 8 GB VRAM 和 16 GB RAM。
也要記住英偉達將此應用程式描述為“演示”。也就是說，還沒有完全定型，可能還有bug。這下載也很大，35GB，因為整合了幾個LLM。最後，安裝需要一些時間才能完成。
完成後，Chat with RTX 應用程式將會加入您的「開始」功能表。啟動它，片刻後，介面將出現在您的瀏覽器預設為網路。在左上角，您將能夠選擇來源 AI 模型：Mistral 或 Llama。完成後，您可以像使用 ChatGPT 或 Google Gemini 一樣發送提示。
如果您已經使用過法學碩士，您就會知道這些生成式人工智慧引擎的功能：撰寫電子郵件、文件、訊息等，總結複雜的主題，回答複雜的問題等。
適用標準規則，盡量具體，不要僅從表面上理解所提供的答案。由於 Chat with RTX 無法搜尋網路上的最新信息，因此該工具並不是隨時間獲取最新答案的良好解決方案，但您將根據其數據中存在的數據獲得答案，無論其數據如何日期 。
在介面的底部，您將找到一個用於從上次提示產生新回應的按鈕、一個「取消」按鈕（返回舊提示）和一個用於刪除對話的按鈕，這將清除歷史記錄。 。目前，除了複製和貼上文字之外，無法匯出回應。
添加您自己的數據和 YouTube 視頻
Chat with RTX 提供了一些非常有趣的功能，包括能夠根據您提供的文件進行回應。在“資料集”部分中，選擇“資料夾路徑”，然後指定包含要使用的文件的資料夾。
然後，該應用程式將掃描有問題的資料夾，這可能需要一些時間，您將能夠向其發送提示。機器人將掃描文本以獲取適當的答案，甚至引用所使用的文件。您可以要求摘要、檢查事實或根據所提供的文字產生新文字。
我們再說一遍，這是一項技術的初稿，已知並非 100% 真實。然而，它是一個非常好用的工具，您可以向其提供自己的數據。
與RTX聊天還可以分析視頻Youtube並根據轉錄結果提出答案（如果存在則使用它們，如果不存在則自動產生）。這甚至適用於整個播放列表，然後軟體將同時搜尋整個系列的影片。
選擇 YouTube URL 作為資料集，然後貼上影片或播放清單的地址。如果您使用播放列表，則可以指定要包含的影片數量。最後，點擊右側的下載按鈕，Chat with RTX 將下載並檢索和/或產生文字記錄。
與文件掃描功能一樣，這對於獲取摘要或提取重要資訊非常有用，但無論如何，它是目前該程式中完成最少的功能。該應用程式經常混淆它所指的視頻，但如果您需要有關您沒有時間觀看的長視頻或播放列表的快速答案，Chat with RTX 可以提供幫助。
