Nvidia’s neuer AI Supercomputer „Project Digits“
Nvidia hat an der CES 2025 einen AI Supercomputer namens “Project DIGITS” vorgestellt. So viel vorweg: Lokale AI bietet einzigartige Vorteile wie Datensicherheit und volle Kontrolle.
Dieses Ereignis haben wir zum Anlass genommen, uns weiter mit dem Thema “Lokale AI” auseinanderzusetzen. Unsere Erkenntnisse haben wir in diesem Artikel zusammengefasst.

Nvidia’s „Project DIGITS“
Was Nvidia anbietet
Obwohl AMD und Intel auch im AI-Chip Markt mitmischen, haben wir uns wegen ihrer Marktdominanz vorerst nur auf Nvidia konzentriert. Man stösst hier sehr schnell auf die “Jetson” Gerätefamilie. Von Nvidia selbst werden diese vor allem als portable Lösung für Robotik und lokale Anwendungen angepriesen.
Zum einen wäre da das schon erwähnte Project DIGITS. Der grosse Vorteil dieser Maschine ist, dass sie sehr viel mehr VRAM hat als die handelsüblichen Grafikkarten (128GB gegenüber 24GB bei einer RTX 4090). Versprochen wurde eine Unterstützung von bis zu 200B (200 Milliarden) Parametern. Das ist eine ungefähre Angabe dazu, wie gross ein AI-Modell ist. Zum Vergleich: ChatGPT-3.5 hat 175B Parameter und ChatGPT-4 hat 1000B Parameter.
Auf der anderen Seite gibt es da kleinere Geräte wie das Jetson Orin Nano Super. Dieses ist mehr gedacht um Technologien auszutesten, und ist vergleichbar mit einem Raspberry Pi für die AI Welt. Mit 8GB VRAM kommt es nicht an High-End Grafikkarten ran. Aber mit einem Preis von nur 250$ und 25 Watt Stromverbrauch spielt es trotzdem in einer eigenen Liga.
Diese Geräte sind vielleicht nicht geeignet, um es mit OpenAI direkt aufzunehmen. Für gezielte Anwendungsfälle, oder um sich zum ersten Mal die Hände schmutzig zu machen, eignen sie sich aber auf jeden Fall. Vor allem, wenn man wegen Bedingungen betreffend Datensicherheit ohnehin gezwungen ist auf Cloud-Lösungen zu verzichten.
Zusätzlich zu oben genannten Vorteilen kommt noch ein Software-Paket namens “Jetson AI Lab” dazu. Dabei handelt es sich um eine von Nvidia kurierte Sammlung an Tools und Anleitungen welche auf die verschiedenen Geräte der Jetson Familie zugeschnitten ist. Die Anwendungen reichen von Text- Bild- und Audio-Generierung bis hin zur Robotik.
Wie können eigene Daten genutzt werden
Eine Frage die sich schnell aufdrängte war, wie jetzt eine AI mit den eigenen Daten gefüttert werden kann. Grob gesehen gibt es da momentan zwei Ansätze. Retrieval-Augmented Generation (RAG) und Fine-Tuning. Beide Computer lassen sich komplett abgekapselt laufen. Eine Cloud-Anbindung ist also nicht zwingend.
Fine-Tuning
Schauen wir uns zuerst Fine-Tuning an. Dabei wird ein existierendes AI-Modell genommen, und mit den eigenen Daten weiter trainiert. Hier macht man sich zu Nutze, dass das AI-Modell schon über ein grosses, generelles Wissen verfügt und nur noch angepasst werden muss. Das geht viel einfacher als von Grund auf ein neues AI-Modell zu trainieren. Nachteile sind allerdings, dass das Wissen des neue AI-Modells nach dem Training eingefroren ist, bis man es neu trainiert. Ausserdem müssen die Trainings-Daten aufbereitet und in ein richtiges Format gebracht werden.
Gute Anwendungen für diese Funktion sind z.B. wenn E-Mail Antworten von einer AI vorgeschlagen werden sollten und die Vorschläge besser auf die Eigenheiten des Unternehmens zugeschnitten werden sollten. Als Trainings-Datensatz können dabei vergangene E-Mail Konversationen genommen werden.
Retrieval-Augmented Generation (RAG)

Der Ansatz bei RAG besteht aus mehreren Schritten und Komponenten. Zuerst werden die eigenen Daten indexiert. Das heisst, sie werden klassifiziert und in eine Datenbank einsortiert. Das ist oft eine Vektordatenbank, welche es erlaubt, effizient nach relevanten Datenschnipsel zu suchen. Nehmen wir hier als Beispiel die Lebensläufe aller Mitarbeitenden. Damit ist unser System schon bereit zur Nutzung.
Als Beispiel für eine Frage nehmen wir “Hat jemand aus unserer Belegschaft im Jahr 2012 in der Migros gearbeitet”. In der Vektordatenbank werden jetzt die Datenschnipsel gesucht welche am besten zu der Frage passen könnten. Eine Auswahl der passendsten Daten wird zusammen mit der Frage an eine generelle AI, wie z.B. ChatGPT weitergegeben. Zusammen mit den weitergegebenen Daten kann jetzt die AI eine Aussage machen, welche sie ohne die Daten gar nicht machen könnte. Die Vektordatenbank wird hier gebraucht um nur die relevanten Datenschnipsel an die AI weiterzugeben. Einfach alle Daten weiterzugeben wäre so viel Information, dass die AI wegen dem sogenannten Tokenlimit gar nicht alle Daten verarbeiten könnte.
RAG ist im generellen zwar langsamer als eine pure AI. Hat aber trotzdem einige Vorteile. Zum einen kann die Vektordatenbank viel einfacher aktualisiert werden, die Daten sind also aktueller. Ausserdem ist transparenter, woher die Informationen für die Antworten der AI stammen.
Was bedeutet das jetzt?
Mit den spezialisierten Computern von Nvidia und den verfügbaren Open-Source Tools sind die Schranken für eine eigene, lokale AI so tief wie noch nie. Die einzigartigen Vorteile wie Datensicherheit und volle Kontrolle über die eigenen Daten sprechen in vielen Fällen dafür, sich auf eigene Beine zu stellen und selber ein AI-System aufzubauen.
Hast du in deinem Unternehmen spannende Anwendungsfälle, die du testen willst?
Melde dich bei uns und wir helfen dir!