AI che non lascia il dispositivo. Privacy, capacità offline, latenza — e perché a volte è categorialmente importante.
Categoria · AI & Agents
AI che non lascia il device.
On-Device AI significa: il modello gira sul dispositivo finale — smartphone, tablet, laptop, embedded device — e non nel cloud. I dati vengono elaborati localmente, le risposte generate localmente. Il vantaggio è triplice: privacy, capacità offline, latenza.
Quando ha senso.
Sempre quando i dati che il modello vede sono sensibili (sanità, finanza, dati personali) o quando l'operatività offline è una promessa di prodotto. Realizzata tramite runtime ottimizzati come Core ML (Apple), TensorFlow Lite, ONNX Runtime o llama.cpp.
I costi: modelli più piccoli, meno performance, più engineering sull'interfaccia. Non sempre vale la pena — ma quando ne vale, la differenza rispetto all'approccio cloud è categoriale.
