IA que no sale del dispositivo. Privacidad, capacidad offline, latencia — y por qué a veces eso es categóricamente importante.
Categoría · IA y Agents
IA que no sale del dispositivo.
On-Device AI significa que el modelo se ejecuta en el propio dispositivo — móvil, tablet, portátil, dispositivo embebido — y no en la nube. Los datos se procesan localmente, las respuestas se generan localmente. La ventaja es triple: privacidad, capacidad offline, latencia.
Cuándo tiene sentido.
Siempre que los datos que ve el modelo sean sensibles (salud, finanzas, personales) o cuando el funcionamiento offline forme parte de la promesa de producto. Se realiza mediante runtimes optimizados como Core ML (Apple), TensorFlow Lite, ONNX Runtime o llama.cpp.
El coste: modelos más pequeños, menor rendimiento, más ingeniería en el edge. No siempre compensa — pero cuando lo hace, la diferencia frente a un enfoque cloud es categórica, no incremental.
