生成式 AI 之所以吸引各界的目光，在於它具有強大的認知能力，並可提供媲美真人的回應，不過必需要上網才能使用，還有越來越多人擔心私隱問題。NVIDIA 最新便推出了一項名為「Chat With RTX」的創新技術，這是一款基於 AI 的聊天機器人技術，而且一切過程只會在本機進行。
即刻按此，用 App 睇更多產品開箱影片
Chat With RTX 透過利用檢索增強生成（RAG）、NVIDIA TensorRT-LLM 軟件以及 NVIDIA RTX 加速，「Chat With RTX」為用戶提供了一種全新的互動方式，能夠快速、輕鬆地將PC上的本地文件作為數據集連接到開源的大型語言模型，如 Mistral 或 Llama 2，從而獲得快速且與上下文相關的答案。
與傳統的搜索筆記或保存的內容不同，用戶只需簡單輸入查詢即可。例如，用戶可以問：“我伴侶在拉斯維加斯推薦的餐廳是哪家？”「Chat With RTX」將掃描用戶指向的本地文件，並提供帶有上下文的答案。這款工具支持多種文件格式，包括.txt、.pdf、.doc/.docx和.xml。只需將應用指向包含這些文件的文件夾，工具就會在幾秒鐘內將它們加載到其庫中。
用戶還可以包括來自 YouTube 影片和播放列表的信息。將視頻連結加入到「Chat With RTX」，允許用戶將這些知識整合到他們的聊天機器人中，用於上下文查詢。例如，根據喜愛的影響者視頻的內容詢問旅行推薦，或根據頂尖教育資源獲取快速教程和操作指南。
由於「Chat With RTX」在Windows RTX PC和工作站上本地運行，所提供的結果不僅快速，而且用戶的數據保留在設備上。與依賴雲端的LLM服務不同，「Chat With RTX」讓用戶能夠在本地PC上處理敏感數據，無需與第三方共享或連接互聯網。除了需要配備至少8GB VRAM的GeForce RTX 30系列GPU或更高版本外，「Chat With RTX」還要求 Windows 10 或 11 作業系統，以及最新的 NVIDIA GPU 驅動程式。
【熱門報道】
【熱門報道】
【熱門報道】
Source: ezone.hk