IA privada en la empresa, sin sacar los datos de casa

La pregunta que más escucho de gerentes no es si la IA sirve, sino a dónde van los datos cuando se la usa. En sectores con información comercial o personal sensible, enviar consultas a un servicio externo no siempre es una opción.

Una arquitectura que funciona en servidores propios

• Modelos locales servidos con Ollama, en contenedores Docker sobre Ubuntu Server.
• Una pasarela (LiteLLM) que unifica el acceso a los modelos y permite cambiarlos sin tocar las aplicaciones.
• Una base vectorial (Qdrant) para que el asistente responda con documentos internos.
• Herramientas específicas para consultar la base de datos: en lugar de dejar que el modelo escriba SQL libre, se le dan funciones acotadas, como “cartera por cliente” o “ventas por periodo”.
• Observabilidad con Langfuse: cada consulta queda registrada para auditoría y mejora.

La parte que no es técnica

La tecnología es la mitad del trabajo. La otra mitad es gobernanza:

1. Definir quién puede preguntar qué, con permisos por rol.
2. Establecer qué decisiones nunca se delegan al modelo.
3. Revisar periódicamente las respuestas para detectar errores o sesgos.
4. Documentar el propósito de cada asistente y los datos que usa, en línea con la Ley Orgánica de Protección de Datos Personales.

Un asistente bien gobernado genera confianza. Uno sin reglas genera el próximo incidente.