Observabilité LLM (traces)

Définition

Traçâge de chaque appel : prompt, réponse, modèle, tokens, latence, coût, appels d'outils imbriqués, regroupés en sessions. OpenTelemetry définit des conventions sémantiques GenAI (attributs gen_ai.*, spans, métriques) maintenues dans un dépôt dédié ; Langfuse est une plateforme open source bâtie sur OpenTelemetry qui ajoute évaluations, gestion des prompts et jeux de données.

Analogie

La boîte noire d'un avion : quand ça se passe mal, on rejoue exactement ce qui a été dit et fait.

Exemple de code

import { trace } from '@opentelemetry/api';
const tracer = trace.getTracer('support-bot');

async function ask(prompt: string) {
  return tracer.startActiveSpan('chat claude-sonnet-5', async span => {
    const msg = await client.messages.create({
      model: 'claude-sonnet-5', max_tokens: 500,
      messages: [{ role: 'user', content: prompt }],
    });
    span.setAttributes({                       // conventions GenAI OpenTelemetry
      'gen_ai.request.model': 'claude-sonnet-5',
      'gen_ai.usage.input_tokens': msg.usage.input_tokens,
      'gen_ai.usage.output_tokens': msg.usage.output_tokens,
    });
    span.end();
    return msg;
  });
}

Cas d'usage

Comprendre pourquoi un agent a boucle, chiffrer le coût par utilisateur, alimenter les evals avec des cas réels.

Anti-pattern

Termes liés

Sources

• github.com/open-telemetry/semantic-conventions-genai
• langfuse.com/docs