AI die het apparaat niet verlaat. Privacy, offline-mogelijkheid, latency — en waarom dat soms categoriaal belangrijk is.
Categorie · AI & Modellen
AI die het apparaat niet verlaat.
On-Device AI betekent: het model draait op het eindapparaat — smartphone, tablet, laptop, embedded device — en niet in de cloud. Data wordt lokaal verwerkt, antwoorden worden lokaal gegenereerd. Het voordeel is drievoudig: privacy, offline-werking, latency.
Wanneer het zinvol is.
Altijd wanneer de data die het model ziet gevoelig is (gezondheid, financiën, persoonsgegevens) of wanneer offline-werking een productbelofte is. Gerealiseerd via geoptimaliseerde runtimes zoals Core ML (Apple), TensorFlow Lite, ONNX Runtime of llama.cpp.
De kosten: kleinere modellen, minder prestaties, meer engineering aan de interface. Dat loont niet altijd — maar als het loont, is het verschil met de cloud-aanpak categoraal.
