Estoy probando herramientas para ejecutar modelos en mis propios equipos. Me interesa poder trabajar con documentos y construir un asistente personal, pero instalar un modelo y conseguir un sistema útil son dos cosas diferentes.
Tener el chat es solo el principio
Mi punto de partida es un MacBook Pro con 32 GB de memoria y un portátil Windows con gráfica dedicada. He instalado herramientas como Ollama y he trabajado con LM Studio y Unsloth. Todavía estoy decidiendo qué combinación encaja con mis tareas. El chat es una parte; convertirlo en un asistente que consulte material y actúe requiere montar y comprobar otras.
Una IA local puede ayudarte a redactar un primer borrador, reorganizar un texto o analizar contenido que le proporcionas, siempre que el modelo y la aplicación admitan esa tarea. Para mí, el interés está en poder adaptar el entorno y elegir dónde se procesa la información.
LM Studio documenta el uso sin conexión una vez descargados los recursos necesarios. Eso no significa que todas las funciones de cualquier instalación sean locales: si activas un modelo remoto, un conector o una búsqueda web, has cambiado el recorrido de los datos. La privacidad depende del flujo completo, no de que la aplicación esté instalada en tu ordenador.
Empezaría por tres tareas que pueda comprobar
Para saber si realmente me resulta útil, estoy poniendo la IA local ante tareas que puedo comprobar: acortar una entradilla conservando el sentido, ordenar unas notas sin añadir información y extraer una lista de fechas de un documento. Son ejemplos de evaluación, no resultados que ya dé por conseguidos. En los tres puedo comparar la respuesta con el original y detectar cuándo el modelo cambia una idea.
También le pediría que indicara lo que falta. Si mis notas no incluyen un precio, quiero que lo diga, no que lo complete con una cifra plausible. Esta prueba es más relevante para mi trabajo que una respuesta espectacular a una pregunta cuya exactitud no sé comprobar.
Los documentos necesitan algo más que una carpeta
Una de las cosas que quiero construir es un sistema que consulte mi propio material. Para eso no basta con descargar un modelo y esperar que conozca mis artículos. Hay que introducir el contenido en la conversación o configurar una herramienta que lo busque y lo recupere.
Ese segundo camino suele llamarse RAG: recuperar fragmentos relevantes y pasárselos al modelo para que responda con contexto. No equivale a entrenarlo y tampoco evita por sí solo las respuestas incorrectas. Me interesa que el sistema señale el documento utilizado y permita comprobarlo.
Antes de darle un archivo importante, haría una prueba con material no sensible: pedir un resumen, localizar una fecha y detectar qué información no aparece. Si inventa una respuesta para completar un hueco, el problema no se arregla concediéndole más confianza.
No hace falta desarrollar una aplicación desde cero para empezar con documentos: LM Studio permite adjuntar archivos y distingue entre introducir el contenido completo o recuperar partes según el contexto disponible. Eso facilita una primera prueba, aunque no equivale a tener una biblioteca permanente, bien indexada y compartida entre todas las conversaciones.
La memoria cambia la experiencia
El tamaño de la descarga no es toda la memoria que necesitará el modelo. Durante la ejecución intervienen sus pesos, el contexto y otros recursos; una conversación larga puede hacer que una configuración cómoda deje de serlo. La cantidad de parámetros no es una recomendación de compra, y la memoria de un Mac no se puede interpretar exactamente igual que la RAM y la VRAM de un PC.
Por eso empezaría con un modelo que funcione de forma cómoda, antes de intentar cargar el más grande posible. La guía de instalación en Windows y Mac y la de elección de modelos según el uso desarrollan esa parte.
En el PC hay que distinguir RAM y memoria de la gráfica; en el Mac, la memoria unificada se comparte con el resto del sistema. No sumaría ambas cifras como si ofrecieran automáticamente la misma velocidad. Si un modelo obliga a mover parte del trabajo fuera de la GPU, puede funcionar y resultar demasiado lento para mi rutina.
Lo que no le pediría sin comprobarlo
No daría por actuales sus respuestas sobre precios, noticias o legislación. Un modelo local no incorpora automáticamente lo que acaba de pasar y conectarlo a Internet no convierte cada resultado en una fuente fiable.
Mi objetivo sigue siendo un asistente que tenga memoria, consulte material y utilice herramientas. Hoy prefiero separar las piezas: chat local, recuperación de documentos y acciones. Avanzar así permite saber qué funciona de verdad, en lugar de llamar «agente» a un chat que todavía necesita que yo haga todo lo demás.
