Convierte datos JSON detallados en formatos YAML o TOML eficientes en tokens para conjuntos de datos de prompts de IA.
Los modelos de lenguaje grande (LLM) como ChatGPT, Claude y Gemini procesan los prompts utilizando tokens en lugar de letras. Los conjuntos de datos JSON conllevan una gran cantidad de sobrecarga sintáctica, como llaves, comillas dobles, dos puntos y comas de separación. Cada carácter cuenta para el límite de contexto y la factura de la API. Al eliminar esta sobrecarga y formatear la estructura de datos como YAML o TOML limpio, puedes reducir el consumo de tokens entre un 20% y un 50% sin perder las relaciones jerárquicas.
YAML utiliza líneas de sangría y guiones simples para representar jerarquías y listas. TOML utiliza encabezados de corchetes limpios. Ambos formatos son entendidos de forma nativa por la mayoría de los modelos de IA, que han sido entrenados ampliamente en múltiples lenguajes de programación. Sustituir JSON por YAML o TOML dentro de los prompts te permite incluir conjuntos de datos de contexto más grandes en las instrucciones del sistema.