Computer use
IA / LLM 🔴 SeniorDéfinition
Capacité d'un modèle à piloter un ordinateur par captures d'écran et actions souris/clavier. Chez Anthropic, le toolset computer_toolset_20260801 (17 actions : screenshot, zoom, left_click, type, key, scroll, wait…) tourne sur Fable 5.1, Opus 5.5, Sonnet 5 et Opus 4.8 ; l'application exécute chaque action dans un environnement qu'elle contrôle et renvoie la capture. Impératif : machine virtuelle dédiée, pas de secrets, confirmation humaine sur les actions à conséquence.
Analogie
Un opérateur à distance qui ne voit que votre écran et ne dispose que d'une souris et d'un clavier.
Exemple de code
let res = await client.messages.create({
model: 'claude-opus-5-5', max_tokens: 2048,
tools: [{ type: 'computer_toolset_20260801' }],
messages: [{ role: 'user', content: 'Ouvre le rapport mensuel et exporte-le en PDF.' }],
});
while (res.stop_reason === 'tool_use') {
const results = [];
for (const c of res.content.filter(b => b.type === 'tool_use')) {
const a = c.input as { action: string; coordinate?: [number, number]; text?: string };
if (a.action === 'left_click') await vm.click(...a.coordinate!); // VM isolée
if (a.action === 'type') await vm.type(a.text!);
const png = await vm.screenshot(); // toujours renvoyer l'écran
results.push({ type: 'tool_result', tool_use_id: c.id,
content: [{ type: 'image', source: { type: 'base64', media_type: 'image/png', data: png } }] });
}
messages.push({ role: 'assistant', content: res.content }, { role: 'user', content: results });
res = await client.messages.create({ model: 'claude-opus-5-5', max_tokens: 2048, tools, messages });
}Cas d'usage
Automatiser des interfaces sans API (back-offices legacy), tests d'interface exploratoires.
Anti-pattern
Lancer computer use sur le poste de l'utilisateur avec sa session et ses mots de passe enregistrés.
Termes liés
Fiche mise à jour le 2026-09-27