KI, die das Gerät nicht verlässt. Datenschutz, Offline-Fähigkeit, Latenz — und warum das manchmal kategorial wichtig ist.
Kategorie · KI & Agents
KI, die das Gerät nicht verlässt.
On-Device AI heißt: das Modell läuft auf dem Endgerät — Smartphone, Tablet, Laptop, Embedded-Device — und nicht in der Cloud. Daten werden lokal verarbeitet, Antworten lokal generiert. Der Vorteil ist dreifach: Datenschutz, Offline-Fähigkeit, Latenz.
Wann es sinnvoll ist.
Immer, wenn die Daten, die das Modell sieht, sensibel sind (Gesundheit, Finanzen, personenbezogen) oder wenn Offline-Betrieb ein Produktversprechen ist. Realisiert über optimierte Laufzeiten wie Core ML (Apple), TensorFlow Lite, ONNX Runtime oder llama.cpp.
Die Kosten: kleinere Modelle, weniger Leistung, mehr Engineering an der Schnittstelle. Das lohnt sich nicht immer — aber wenn es sich lohnt, ist der Unterschied zum Cloud-Ansatz kategorial.
