NVIDIA veröffentlicht Chat With RTX Beta für lokale KI-Anwendungen

NVIDIA hat die Verfügbarkeit von Chat With RTX bekannt gegeben, eine frühe Betaversion, die das lokale Ausführen von KI-Anwendungen ermöglicht. Diese Entwicklung erlaubt Nutzern, ein Sprachmodell auf ihrem eigenen Gerät zu nutzen und dieses mit individuellen Daten zu versorgen, was eine personalisierte Anwendungserfahrung bietet.

Technologische Basis von Chat With RTX

Chat With RTX basiert auf einer Reihe von Hard- und Softwaretechnologien, die von NVIDIA entwickelt wurden. Eine der Schlüsseltechnologien ist die Retrieval-Augmented Generation (RAG), die darauf abzielt, die Genauigkeit und Zuverlässigkeit von generativen KI-Modellen zu verbessern, indem externe Datenquellen für einen Faktencheck integriert werden. Zusätzlich verwendet Chat With RTX TensorRT-LLM als Schnittstelle zwischen Hardware und Software, um die Leistung von großen Sprachmodellen (LLMs) auf NVIDIA Grafikprozessoren mit Ampere-, Ada-Lovelace- und Hopper-Architekturen zu optimieren.

Speicherbedarf und Systemvoraussetzungen

Für die Installation von Chat With RTX wird ein erheblicher Speicherplatz benötigt: Die gesamte Installation benötigt 69,1 GB, wobei die Modelle LLama2 und Mistral 31 bzw. 17 GB benötigen. Allein die Python-Umgebung benötigt 6,5 GB Speicherplatz. Die Mindestanforderungen für die Grafikkarte sind eine Karte der GeForce RTX 30 oder 40 Serie mit mindestens 16 GB Grafikspeicher. Es wurde jedoch festgestellt, dass die neue KI auch auf Grafikkarten mit weniger als 12 GB Grafikspeicher läuft, wenn der GeForce 535.11 Treiber installiert ist.

Download und Installation

Chat With RTX kann ab sofort von der NVIDIA-Website heruntergeladen werden. Mit der neuen Version können Anwender fortschrittliche KI-Modelle direkt auf ihren eigenen Geräten ausführen, was neue Möglichkeiten der Personalisierung und Interaktion mit KI-Technologien eröffnet.

NVIDIAs neue Chat KI ist ein wichtiger Schritt bei der Entwicklung barrierefreier KI-Anwendungen, da es individuelle Anpassungen und lokale Ausführungen ermöglicht. Dies könnte weitreichende Auswirkungen auf die Art und Weise haben, wie KI-Technologien in Zukunft genutzt und integriert werden.