Design Principles for LLM-based Systems with Zero Trust. Foundation for Secure Agentic Systems (Principios de Diseño para Sistemas Basados en LLM con Arquitectura de Confianza Cero. Fundación para Sistemas Agénticos Seguros)

Summary (Resumen)

The document establishes design principles for systems based on large language models (LLMs) applying the Zero-trust architecture approach. It is aimed at system architects, operators and authorities in both France and Germany, and seeks to mitigate risks such as evasion, poisoning and privacy attacks. It focuses on the application level of AI systems and proposes six principles: authentication and authorisation; input/output restrictions; sandboxing; monitoring, reporting and controlling; threat intelligence; and awareness. It does not prescribe specific technologies, but rather offers an adaptable framework for improving security in the development and operation of generative AI systems. [El documento establece principios de diseño para sistemas basados en modelos extensos de lenguaje (LLM) que aplican el enfoque de arquitectura de Confianza Cero. Está dirigido a arquitectos de sistemas, operadores y autoridades tanto de Francia como de Alemania y busca mitigar riesgos como la evasión, el envenenamiento y los ataques a la privacidad. Se centra en el nivel de aplicación de los sistemas de IA y propone seis principios: autenticación y autorización; restricciones de entrada/salida; sandboxing -areneras de pruebas-; monitoreo y control; inteligencia sobre amenazas; y concienciación. No prescribe tecnologías específicas, sino que ofrece un marco adaptable para mejorar la seguridad en el desarrollo y el funcionamiento de los sistemas de IA generativa] (BSI & ANSSI, 2025)

Information About the Organization (Información Sobre la Organización)

Continent (Continente)

Europe (Europa)

Continental Subregion (Subregión Continental)

Western Europe (Europa Occidental)

Country or International Body (País u Organización Internacional)

Germany (Alemania)

Name of Subnational Territory (Nombre de territorio subnacional)

Not Applicable (No Aplica)

Public Body (Entidad Pública)

German Federal Office for Information Security (Oficina Federal Alemana de Seguridad de la Información)

Government Branch (Rama del Poder Público)

Executive Branch (Rama Ejecutiva)

COFOG Level I (COFOG Nivel I)

03. Public order and safety (Orden público y seguridad)

COFOG Level II (COFOG Nivel II)

03.1 Police services (Servicios de policía)

Information About the Instrument (Información Sobre el Instrumento)

Type of Instrument (Tipo de Instrumento)

Principles (Principios)

Start Year (Año de Inicio)

2025

Version (Versión)

1 Update (1 Actualización)

Original Name of the Instrument (Nombre original del instrumento)

Design Principles for LLM-based Systems with Zero Trust. Foundation for Secure Agentic Systems

Institutional Scope (Ámbito Institucional)

Cross-cutting scope in the France and Germany (Alcance Transversal en Francia y Alemania)

Is it in Force? (¿Está Vigente?)

Yes (Sí)

Is it Mandatory (¿Es Obligatoria?)

No

Geographical Scope (Ámbito Geográfico)

International (Internacional)

Technology Scope (Alcance Tecnológico)

Generative AI (IA Generativa)

Stages of AI’s Life Cycle (Etapas del Ciclo de Vida de la IA)

Planning, Research, and Design Stage (Fase de Conceptualización, Investigación y Diseño)

Yes (Sí)

Data Colection and Processing Stage (Fase de Recolección y Procesamiento de Datos)

Yes (Sí)

Development, Model Building and /or Adoption, Interpretation, Verification and Validation Stage (Fase de Desarrollo y/o Adopción del Modelo y Validación)

Yes (Sí)

Deployment, Use, Operating, and Monitoring Stage (Fase de Despliegue, Uso, Actualización y Monitoreo)

Yes (Sí)

Accountability and Evaluation Stage (Fase de Rendición de Cuentas y Evaluación)

Yes (Sí)

End-of-use, Disassembly, and Termination Stage (Fase de Fin de Utilización, Desmontaje y Terminación)

Yes (Sí)

Links (Enlaces)

Official Link (Enlace Oficial)

https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/Publications/ANSSI-BSI-joint-releases/LLM-based_Systems_Zero_Trust.pdf?__blob=publicationFile&v=3

Other Informative Links (Otros Enlaces Informativos)

https://www.bsi.bund.de/SharedDocs/Downloads/EN/BSI/Publications/ANSSI-BSI-joint-releases/LLM-based_Systems_Zero_Trust.html

Scroll to Top
Repositorio

Sistemas de IA en América Latina y el Caribe

Tipo de interacción

Clasificación OCDE por tipo de tarea