IA que não sai do dispositivo. Privacidade, capacidade offline, latência — e porque às vezes é categoricamente importante.
Categoria · IA & Agents
IA que não sai do dispositivo.
On-Device AI significa que o modelo roda no próprio dispositivo — smartphone, tablet, laptop, dispositivo embarcado — e não na nuvem. Os dados são processados localmente, as respostas são geradas localmente. A vantagem é tripla: privacidade, capacidade offline, latência.
Quando faz sentido.
Sempre que os dados que o modelo vê são sensíveis (saúde, finanças, dados pessoais) ou quando o funcionamento offline é uma promessa de produto. Realizado por runtimes otimizados como Core ML (Apple), TensorFlow Lite, ONNX Runtime ou llama.cpp.
O custo: modelos menores, menos desempenho, mais engenharia na ponta. Nem sempre compensa — mas, quando compensa, a diferença para a abordagem em nuvem é categórica, não incremental.
