Convierta su PC en un servidor de IA local

Qué aporta

• Completa privacidad de datos y ejecución local: ejecución segura de IA en GPU y CPU locales sin enviar sus datos a servidores en la nube externos.
• RAG integrado (generación asistida por búsqueda): vectorice sus notas personales, documentos de la empresa y repositorios de códigos para búsquedas semánticas instantáneas.
• Capacidades multimodales: reúne producción de texto, reconocimiento de voz (Whisper), síntesis de voz y producción visual bajo un mismo techo.
• API nativa compatible con OpenAI: apunta sus clientes y herramientas de IA existentes a su servidor ODS local con un solo cambio de URL.
• Orquestación integral de agentes: cadenas de agentes inteligentes que invocan herramientas locales y resuelven tareas de varios pasos de forma autónoma.

Instalación

git clone https://github.com/Osmantic/ODS.git
cd ODS
pip install -e .

Ejecución

python -m ods.server --port 8000
# Web paneline http://localhost:8000 adresinden erişin

Arquitectura técnica y principio de funcionamiento

• Kernel de inferencia nativa (llama.cpp y vLLM): cargue y ejecute rápidamente modelos en formatos GGUF y GPU puros con una huella de memoria mínima.
• Base de datos vectorial integrada: fragmentación e indexación de documentos con almacenamiento vectorial ligero basado en ChromaDB y SQLite.
• Cola de tareas y máquina de estado del agente: controladores asincrónicos que manejan consultas de varios pasos y flujos de llamada de herramientas.

Flujos de trabajo de RAG nativos y canales de agentes personalizados

• Trabajar con documentos confidenciales de la empresa: consultar contratos, estados financieros y correspondencia interna con RAG local sin extraerlos a la nube.
• Asistente de desarrollo y análisis de código nativo: proporcione finalización de código de IA nativo en VS Code o Cursor indexando sus proyectos de software personalizados.
• Agentes autónomos de procesamiento de datos: definen tareas en segundo plano que leen, resumen y dan formato a informes de conversión en el sistema de archivos local.

Si no programa

Preguntas frecuentes

• ¿Funciona completamente fuera de línea sin conexión a Internet? Sí. Una vez que se descargan los pesos del modelo requeridos, ODS puede operar en entornos completamente fuera de línea (con espacio de aire) sin requerir ninguna conexión de red.
• ¿Qué formatos de modelo admite? Admite todos los modelos abiertos (Llama 3, Mistral, Qwen, DeepSeek) y pesas Hugging Face puras en formato GGUF.
• ¿Hay una interfaz web disponible? Sí. ODS viene con un panel web incorporado; Puede administrar modelos, cargar archivos y abrir sesiones de chat.
• ¿Funciona solo con CPU, sin GPU? Sí. Gracias al kernel llama.cpp, también puede ejecutarse en CPU pura con alta eficiencia utilizando conjuntos de instrucciones AVX2/AVX-512.

Términos relacionados del glosario

Enlaces

• Repositorio en GitHub →
• Leer en turco →