GPT Diffusion

earshot: oídos para agentes de código — QA de audio en CPU con MCP

2026-10-18 · Devs #agentes#coding-agents#mcp#arquitectura#caso-real

TL;DR

  • Verificado (README y docs raw a 18-oct-2026): earshot convierte sonido en “evidencia que un agente puede razonar” — describe, match, find, compare, realness, timeline, sheet, critique y measure como CLI, API Python y servidor MCP para Claude Code, todo en CPU local. Repo creado el 15-oct-2026: tres días y tres iteraciones (0.1.0 → 0.2.0 → 0.3.0 en main), 756 estrellas, autor único, 0 issues abiertas. Tracción = estrellas, no evidencia de uso en producción.
  • Verificado (README, VALIDATION.md): en búsqueda sobre biblioteca held-out de 125 grabaciones, un veredicto “strong” es el tipo correcto de sonido el 98% de las veces (61% la variante exacta); realness distingue grabación real de código sintetizado con ROC-AUC 0,922. Con letra pequeña que el propio autor declara: el ratio “strong” descansa en 3 pares malos, y los umbrales del 92% se eligieron sobre las mismas predicciones held-out.
  • De primera mano (mi M1 Pro, 18-oct-2026): instalado en local, doctor OK, banco de 201 sonidos confirmado, y las llamadas reales funcionan: describe 64 s (incluye la carga de modelos), realness 8 s, match/measure segundos. Su veredicto calibrado “plausible” no mordió el anzuelo de mi blip sintético; realness diagnosticó un pad generado por código con evidencia legible. Instalación vía git (el paquete earshot de PyPI es otro proyecto).
  • Claim del autor no verificado fuera de su propia validación: que el QA de audio es el eslabón perdido del agente multimodal. La pieza lo evalúa: la tabla de qué es de fiar, qué es solo pista y qué no puede juzgar (LIMITS.md) es honesta casi al nivel de un paper, y ese nivel de honestidad es, en sí mismo, la historia.
  • Sin hype: no es un benchmark ni una review completa; es la validación del autor sobre una biblioteca de sonido, 7 films propios y tres bases de síntesis. Proyecto de 3 días: la API se mueve rápido.

El agente que renderiza y no se gira a mirar

Un coding agent de 2026 escribe el script que renderiza el vídeo del lanzamiento: generación por código, música elegida de una librería, efectos colocados en la línea de tiempo. Y cuando acaba, no puede comprobar lo que no puede oír: que el golpe suena 80 ms después del corte, que la música sube donde no debe, que el “click premium” que encargó suena a juguete. El feedback loop termina donde empieza el audio.

earshot ataca exactamente ese hueco: “turns sound into evidence an agent can reason about” (verbatim del README). No es un generador de audio — es el oído: describe qué suena un fichero, decide si encaja con una descripción, encuentra el mejor momento dentro de una grabación larga, distingue grabación real de código sintetizado, transcribe una banda sonora completa evento a evento, y puntúa un vídeo de lanzamiento contra un perfil de 7 films profesionales. Todo en CPU local, sin red después de descargar los modelos (~1,1 GB, CLAP de Laion + AST de MIT, cada uno a revisión fijada, offline con EARSHOT_OFFLINE=1).

El hook de integración es el que espera: es un servidor MCP, mismo protocolo que ya cubrimos en el tutorial de MCP con APIs REST y en cómo montar un agente con herramientas locales.

Qué hace exactamente (con las trampas de cada comando)

ComandoQué le da al agenteOjo con
describetags calibrados (z), etiquetas AudioSet, medidas (LUFS, pico, brillo)género/mood “often wrong”; etiquetas AudioSet en one-shots <0,5 s a menudo “unsure” o clase vecina
matchveredicto calibrado strong/plausible/weak/no match, con la evidencia inlineel 98% es “tipo correcto”, no variante exacta (61%): una tecla Enter por un espacio cuenta como fallo
findrecortes de los mejores momentos dentro de una grabación largasobre bibliotecas de one-shots; dominios no probados sin evaluar
rank / compareordena candidatos por descripción; A/B en palabras—
realnessreal vs código-sintetizado, con evidencia por ventana”oye síntesis, no licencias”: un UI sintético profesional también lee “código”
timeline / sheettranscripción de escucha de una banda sonora; PNG anotadotags en mezcla densa: ~1 de 2 expuestos, ~1 de 4 bajo música
critiquescorecard de vídeo de lanzamiento contra perfil de 7 filmsdescribe EL ESTILO de esos 7 films; no es un estándar universal
measuremedidas puras sin modelos: LUFS, true peak, LRA, envolvente, espectro—
forge / fitfabricar sonidos en código y traducir grabación → receta de códigoel blind test publicado (8/15, “una moneda al aire”) es de forge v1; v2 aún sin score publicado
mcplas mismas herramientas para Claude Code y otros agentes13 tools validadas en 0.2.x; main trae 16 (0.3.0)

Fuente: README y docs raw a 18-oct-2026 (main, push 18-oct 07:22 UTC).

Lo que dice la validación del autor, verificado y con letra pequeña

Consulta de fuentes: 18-oct-2026. Todo son mediciones del propio autor sobre su propio banco de datos —la biblioteca de grabaciones licenciadas de un film, sus 7 films de referencia y tres bases de síntesis—. Repetirlas aquí no las convierte en independientes, y otros dominios están sin probar (LIMITS.md, “Known engineering limits”).

La tabla que de verdad importa, con el contexto que un titular se dejaría en el tintero:

Claim de cabeceraLo que dice la letra pequeña (declarada por el autor)
match “strong”: 98% tipo correcto (biblioteca held-out de 125)la variante exacta solo 61%; base rate 3%; y el ratio descansa en solo 3 pares malos — rango Poisson 95% de ~440:1 a ~6000:1, la biblioteca de tuning dio 170:1
realness: ROC-AUC 0,922 (leave-one-family-out, 1.484 clips)veredictos firmes ~92% PERO umbrales elegidos sobre las mismas predicciones held-out (“the 92% is in-sample for that choice”); 21% de clips quedan en “uncertain”
timeline: 93% de efectos detectados en una mezcla de 60 s89% de los que suenan bajo la música; los tags aciertan ~1 de 2 expuestos y ~1 de 4 bajo música
sync a imagen: 96% dentro de un frame (mediana 0 ms)sobre 140 de 153 cues con colocación alineada al ataque; los builds suaves (whooshes) se pueden perder
critique: 86% de métricas en rango vs ~71% de baseline sin overfit”Not a blind test: some rules were changed after the first leave-one-out run”
forge blind test: el oyente no distingue made vs real8/15: el propio autor lo llama “a coin flip”; 1 oyente, 15 pruebas, “a small test, not a proof”

Nótese qué NO aparece en el repo: una tabla de resultados contra competidores. No hay competidores declarados; el único baseline publicado es “sin earshot”. La comparación real que puede hacer un lector es con su propio flujo actual: hoy, ¿cómo comprueba tu agente el audio que produce? (Si la respuesta es “no lo comprueba”, earshot compite contra el vacío, y ahí gana alto.)

De primera mano: le puse los oídos a mi máquina (M1 Pro, macOS)

Instalación real siguiendo el README, en un portátil de 2021: venv Python 3.12, torch CPU, pip install -e ".[mcp,llm,dev]", earshot doctor --fetch para los ~1,1 GB de modelos. Unos diez minutos en total, más de la mitad descargando. Dos avisos que el README no subraya: el paquete earshot de PyPI es otro proyecto (VAD de pyke.io) — la instalación es por git, como manda el README —, y la primera describe compiló kernels de torch (una sola vez, comprobado: el mtime del binario torch no cambió después).

Con los modelos en las revisiones exactas que cita la documentación (CLAP 16c8cc3, AST f826b80), las llamadas reales:

  • earshot describe click.wav (blip de seno 1,2 kHz de 60 ms): 64 s en la primera llamada (proceso nuevo: carga de modelos más una compilación única de kernels de torch). Las llamadas siguientes siguen pagando la carga de modelos (~20-40 s), aunque repetir query sobre un fichero ya escuchado reutiliza embeddings cacheados (2 s por la VALIDATION del autor). El veredicto: “plausible” como success chime (z +2,7), no “strong”. Y AudioSet susurra “Beep, bleep” (0,10), que es exactamente lo que era. Fuentes de posible sesgo: yo elegí y generé el sonido de prueba.
  • earshot realness pad.wav (pad sintético de 3 s): 8 s — “likely code-synthesized (p_real 0.15)” con evidencia legible: “crest factor only 4 dB: a steady, oscillator-like level”. No hace falta interpretar nada: el tool dice qué vio.
  • earshot match: el formato de salida ya lleva la calibración dentro — cita sus propias cifras held-out al explicar el veredicto “plausible”: right kind 41%, variante exacta 22%.

Lo que esto significa: los timings de la documentación (Ryzen 7 260, 2-3 threads: carga de modelos 27 s, describe 17 s, banda sonora de 60 s en 81 s) son creíbles en hardware de consumo. Cada llamada CLI es un proceso nuevo y paga la carga (~20-40 s según el repo): a partir de 2-3 llamadas, MCP o un script Python (from earshot import api).

La parte que deberían copiar otros repos: los límites por escrito

Hay dos formas de leer earshot. La primera es como herramienta: en ese caso, vale lo que vale una validación de autor único sobre un dominio probado. La segunda es como plantilla de cómo se declara la incertidumbre: y ahí es donde esta pieza se justifica en la serie multimodal.

El repo mantiene una tabla de tres niveles (docs/LIMITS.md) que citamos casi completa porque es la pieza:

  • De fiar: medidas (LUFS, true peak, LRA, onsets, sync a imagen al milisegundo — son medidores, no opiniones); “¿es el tipo de sonido que pedí?” en sonidos únicos expuestos; elegir entre candidatos; síntesis obvia (~92% con veredicto firme).
  • Solo pistas: tags de eventos en mezcla densa (~1 de 2 expuestos, ~1 de 4 bajo música); género y mood “often wrong” — el mood top de un track alegre fue oscuro el 18% de las veces; los “uncertain” de realness en sonidos de librería diseñados y música electrónica real (“sounds designed”, no “fake”).
  • No puede juzgar: gusto y emoción (“earshot can say ‘a strong match for a deep thocky key press, 3 ms attack, lands 4 ms after the cut’; it cannot say the film feels premium” — verbatim); procedencia ni licencias; contenido del habla; cualquier cosa por encima de 14 kHz (el front-end de CLAP para ahí; el tagger a 8 kHz); una capa sintética escondida bajo una mezcla real.

Y el README añade la advertencia de Goodhart que casi ningún proyecto escribe: la búsqueda de forge optimiza los modelos de earshot, y “those can be pleased without the sound getting better” — después de una búsqueda, los checks de modelo dejan de separar made de real; lo que sigue separando es la medición sin modelo (1/3 de octava), los espectrogramas y un blind test humano.

El contraste con la serie: MJev-Spatial es un paper donde cada tabla la midió un solo equipo y hay que leer las letras pequeñas con lupa; earshot es un repo que declara sus letras pequeñas por escrito, en un fichero dedicado, antes de que se las pidas. Diferente artefacto, misma lección: cuando la validación es del propio autor, lo relevante no es la cifra de cabecera sino qué declara saber el lector sobre los límites.

Cómo conectarlo a Claude Code hoy (y qué hacer con ello)

El comando verbatim del README, con los pasos previos que a él no le hacían falta (adaptando la ruta al venv):

git clone https://github.com/Leonxlnx/earshot.git
cd earshot && python -m venv .venv
.venv/bin/python -m pip install torch --index-url https://download.pytorch.org/whl/cpu
.venv/bin/python -m pip install -e ".[mcp,llm,dev]"
claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- /ruta/a/earshot/.venv/bin/python -m earshot mcp

Los modelos cargan en la primera llamada y se quedan calientes — la primera vez descargan ~1,1 GB, después solo caché local. En máquina lenta, MCP_TIMEOUT=60000 al arrancar Claude Code.

Qué haría yo, en orden de coste:

  1. Empieza por lo que es de fiar: measure y timeline --video sobre el último vídeo que renderizó tu agente. La sync a imagen es medición pura, y un corte sin sonido se ve en el sheet PNG sin interpretar nada.
  2. match para QA de briefs de sonido (“¿esto que renderizaste es el thock que pedí?”), tratando “plausible” y “weak” como pistas, no veredictos. Y realness como tripwire barato para detectar que un asset colado es sintético.
  3. No le pidas gusto. La frontera de LIMITS.md no es modestia: por encima de 14 kHz no oye nada (usa measure para air/hiss), no transcribe habla, y “premium” no está en su vocabulario medible. El fallo típico no será un veredicto falso sino pedirle la capa que no tiene.
  4. Si tu caso son films de código, mira forge/fit/sfx — pero asume que el blind test publicado es de forge v1 (8/15, 1 oyente) y que v2 aún no tiene score publicado.

Qué vigilar antes de construir nada encima

  • Proyecto de 3 días con 3 iteraciones: 0.1.0 (15-oct) → 0.2.0 (16-oct) → 0.3.0 en main fechado 19-oct, aún sin release formal a 18-oct. La API se mueve rápido; fecha cualquier cifra que cites.
  • 13 vs 16 tools MCP: las 13 ejercitadas por stdio real son de 0.2.x (VALIDATION §5); las 16 son de 0.3.0 (CHANGELOG). No mezclar versiones al citar.
  • Validación = autor único. Una biblioteca (Freesound/Mixkit de un film), 7 films propios, tres bases de síntesis. No es un benchmark; es una validación con archivos de resultados por área y límites declarados. La distancia entre eso y “funciona en tu dominio” es la que siempre es.
  • 0 issues, autor único, 3 días: tracción = 756 estrellas a 18-oct-2026. Ninguna evidencia de uso en producción fuera del propio proyecto (cinetic, del mismo autor). No es un menoscabo: es la categoría del dato.
  • Los pesos de realness son un modelo pequeño entrenado por el autor sobre Freesound/Mixkit + films + síntesis. Otros dominios (sesiones orquestales, field recordings, otros motores de síntesis) están sin probar, y lo dice LIMITS.md.

Fuentes

  • GitHub: Leonxlnx/earshot — README verbatim (“turns sound into evidence an agent can reason about”; blind test 8/15 “a coin flip”; advertencia Goodhart), licencia MIT, métricas del repo a 18-oct-2026 (756 estrellas, 45 forks, 0 issues), releases v0.1.0 (15-oct) y v0.2.0 (16-oct).
  • README raw, main a 18-oct-2026 — comandos, modelos a revisión fijada (CLAP laion/larger_clap_general @ 16c8cc3 Apache-2.0; AST MIT/ast-finetuned-audioset-10-10-0.4593 @ f826b80 BSD-3-Clause), comando MCP para Claude Code, 98% / 61% held-out.
  • docs/VALIDATION.md raw — tablas por área: match (98%/61%, 3 pares malos, Poisson 440:1-6000:1), realness (ROC-AUC 0,922, umbrales in-sample declarados, 79% firmes), timeline (93,2%, sync 96% en 1 frame), scorecard (86% vs ~71%), timings (Ryzen 7 260), tests (128 passed, 14 skipped) y 13 tools MCP por stdio.
  • docs/LIMITS.md raw — tabla trustworthy / hints only / cannot judge citada en la pieza, verbatim donde se indica.
  • CHANGELOG.md raw — 0.3.0 (2026-10-19, en main sin release a 18-oct): banco de 201 sonidos, sfx/kit, 16 tools MCP.
  • Prueba de primera mano: instalación local en Apple M1 Pro (macOS 26.5.2, Python 3.12, torch 2.14.1 CPU) el 18-oct-2026, doctor OK, describe/realness/match/measure ejecutados sobre dos ficheros WAV generados con ffmpeg; salidas citadas textuales.
Cargando comentarios...