Fold2Reason: proteínas como post-training y una lección de curación
TL;DR
- Verificado verbatim contra el abstract y el HTML v1 (arXiv 2609.38879, publicado el 30/09/2026; Yong Liu et al., Shanghai Jiao Tong University, Fudan, Shanghai Innovation Institute y Northeastern University; preprint sin peer review, 5 días de vida al 05/10/2026): post-entrenar Qwen3.5-9B con preguntas generadas de estructuras de proteínas resueltas sube la media de 10 benchmarks de razonamiento general de 45,09% a 48,33% (+3,23 pp, verbatim del paper; no recalculamos), con mejoras positivas en los 10.
- La lección de curación de datos: tres controles con el mismo formato, mismo packing y mismo presupuesto de entrenamiento —estructura aleatoria no observada, respuestas sintéticas de copia y etiquetas barajadas— se quedan en +0,92, −0,09 y −0,27 pp. Lo que enseña el dato no es el formato: es el contenido.
- El examen de casa no explica todo: sin FTB-Core (su evaluación propia, 12.000 preguntas), la ganancia sigue siendo +3,14 pp en los 9 benchmarks públicos.
- El antídoto contra el hype: funciona en Qwen3.5-2B/4B/9B (+5,41/+4,84/+3,22 pp con solo FoldingCorpus) e InternVL3.5-8B (+1,53 pp), pero Gemma-4-12B-IT se queda en su nivel base (+0,07 pp; dos semillas positivas y una negativa).
- En FoldBench reportan puntuaciones de predicción estructural 2,7 a 3,5 veces las de Qwen3.5-9B (verbatim del abstract). Y sí: hay repo oficial de código.
El contexto: el post-training busca datos que no sean texto humano
El pipeline estándar de post-training bebe de texto humano e instrucciones, y la pregunta de cuánto techo le queda a esa fuente lleva un año sobre la mesa. Una línea de trabajo construye datos en lugar de recolectarlos: corpus sintéticos, lógica generada por programas, entrenamiento contra respuestas verificables. El problema de esa literatura es medir bien si la capacidad viaja: hay resultados a favor y resultados donde el entrenamiento especializado deja el resto del modelo igual o peor.
Este paper ataca el problema desde un extremo deliberado. Un plegamiento de proteína resuelto —coordenadas 3D en el PDB— permite generar miles de afirmaciones espaciales y topológicas con respuesta exacta y verificable, sin pasar por texto humano ni por otro LLM. La pregunta que se hacen es directa: ¿puede aprender a plegar proteínas enseñar a un modelo general capacidades de razonamiento reutilizables fuera del dominio?
La respuesta que documentan es un “sí, con matices” medido: transferencia conductual positiva en 10 benchmarks que no contienen proteínas, dependencia de la familia del modelo y un mecanismo que los propios autores no reclaman haber identificado.
Qué es FoldingCorpus y qué hace Fold2Reason
FoldingCorpus es el dataset. Se genera aplicando 12 operadores estructurales deterministas (contactos, distancias, orientaciones, coordenadas) a la colección de proteínas cortas monómero de OpenFold. El core son 1.200 proteínas y 14.400 pares pregunta-respuesta, repartidos en 1.000 de entrenamiento, 100 de desarrollo y 100 de test congelado, con particiones disjuntas por clúster y respuestas recomputadas de forma independiente. Del núcleo de entrenamiento salen las 12.000 preguntas de entrenamiento (1.000 proteínas × ~12 objetivos), empaquetadas en un solo ejemplo por proteína. Aparte está FTB-Core, su benchmark propio de texto para razonamiento 3D: 12.000 preguntas fijas generadas de forma determinista y congeladas (12 tareas espaciales; 500 de test y 500 test-OOD por tarea en la puntuación oficial). Las vistas de entrada son 336 sequence-only, 332 con MSA y 332 con MSA+template, con longitudes de 29 a 199 residuos.
Fold2Reason es la receta de post-entrenamiento sobre Qwen3.5-9B. El backbone va congelado y solo se entrenan adaptadores LoRA (rank 16, alpha 32, dropout 0,05; 43,28M de parámetros) sobre proyecciones de atención y feed-forward auditadas. La gracia está en las dos señales de supervisión que pasan por la misma representación compartida: las respuestas discretas de FoldingCorpus supervisan el language head nativo, y un decoder de coordenadas congelado (3,31M de parámetros) añade supervisión geométrica 3D continua sobre los mismos estados de residuo adaptados por LoRA. Un “shared workspace” de 3,90M de parámetros hace de interfaz durante el entrenamiento.
El detalle que hace honesta la evaluación: al terminar, se tira todo el andamiaje proteico. La evaluación externa retiene solo el modelo de lenguaje adaptado —sin inputs de proteína, sin workspace, sin decoder— y comprueba si los updates de parámetros transfieren. El entrenamiento es pequeño: 3 epochs, 375 optimizer steps, 4 GPUs A800-80G, 3 semillas. Es reproducible en el rango de un fine-tuning LoRA doméstico, no en el de un lab con cluster.
Los números, verificados contra el paper
| Claim | Qué hay detrás (consultado 05/10/2026) | Naturaleza |
|---|---|---|
| +3,23 pp en General-10 (45,09% → 48,33%) | Abstract verbatim + §5.1; desviación típica 0,15 pp; semillas +3,19/+3,12/+3,40 | Verificado en el paper |
| Mejoras positivas en los 10 benchmarks | Abstract + §5.1 (medias por dataset, Tabla 1) | Verificado |
| FoldBench: 2,7 a 3,5× Qwen3.5-9B en predicción estructural | Abstract verbatim; 334 objetivos monómero | Verificado (claim de los autores) |
| Controles random/sintético/shuffled ≪ receta completa | §5.1: +0,92 / −0,09 / −0,27 pp vs +3,23 pp | Verificado |
| Generaliza a otras familias | §5.2: InternVL3.5-8B +1,53 pp (todas las semillas positivas); Gemma-4-12B-IT +0,07 pp (neutral) | Verificado, con el límite Gemma |
| Sin FTB-Core la ganancia desaparece | Falso: External9 (los 9 benchmarks públicos) +3,14 pp | Corregido; dato clave del paper |
| 76.725 preguntas en General-10 | Total declarado verbatim en el Apéndice N; la suma de los n de su Tabla 7 da 77.474 (cálculo propio, ~1% más, sin explicación en el texto consultado) | Verificado el total declarado; discrepancia propia anotada |
| Código disponible | Repo oficial GENTEL-lab/Fold2Reason en GitHub (creado el 28/09/2026, verificado el 05/10/2026) | Verificado que existe |
Sobre el General-10: son 10 datasets con igual peso en la media —los 8 públicos son BBH (6.511 preguntas), GraphQA Easy (21.600), GraphQA Hard (21.600), ChemBench (2.785), ChemBench4K (4.009), Lab-Bench (1.967), SciBench (692) y VSI Bench (5.130, vídeo+texto), más 2 de la casa: FTB-Core (12.000, texto) y SpatialViz (1.180, imagen+texto)—. Todo de la Tabla 7 del Apéndice D, que fija revisiones y contratos de extracción por benchmark. Ojo con el nombre: ChemBench y ChemBench4K van por separado, y el total declarado (76.725) no cuadra exacto con la suma de las filas; lo anotamos, no lo corregimos.
La lección de curación de datos: los controles
Aquí está la parte que sobrevive aunque desconfíes del resultado principal. Los autores entrenan tres controles Pure-LoRA que copian exactamente la receta —mismo modelo base, mismo packing de 12 preguntas, mismos 375 steps, misma selección de checkpoint, mismas 3 semillas, mismo presupuesto de tokens supervisados— y solo cambian de dónde sale la respuesta:
- Hidden Geometry (estructura aleatoria): mantiene los prompts de proteína, pero recalcula las respuestas de cada pack desde una estructura puntual aleatoria no observada. Gana +0,92 pp: algo de transferencia sobrevive con objetivos geométricos coherentes aunque independientes del input.
- Format Copy (sintético): entrega códigos de respuesta de donante y entrena al modelo a copiarlos. −0,09 pp: aprender el formato no hace nada.
- Fixed Shuffle (barajado): mismos prompts con etiquetas fijas de donante emparejadas por operador. −0,27 pp: el emparejamiento fijo input-etiqueta erróneo tampoco.
La receta real, +3,23 pp, es más del doble del control más fuerte. La conclusión de curación es la que interesa a cualquiera que monte un dataset de post-training: el formato de las preguntas y el gasto en tokens no mueven la aguja; mueve la correspondencia real entre input y contenido. Cuando trabajes datos sintéticos para SFT, el control que distingue “el modelo aprendió el dominio” de “el modelo aprendió el examen” es exactamente este, y cuesta tres runs baratos.
Dónde está el detalle fino
El desglose de §5.1 evita dos lecturas perezosas. Primera: la ganancia no vive en el examen de casa. Los mayores saltos por dataset son GraphQA Hard (+6,83 pp), SpatialViz (+6,10), GraphQA Easy (+4,56) y ChemBench4K (+4,37); el macro solo-texto de 7 datasets sube +2,93; quitando los dos GraphQA quedan +2,62 en 8 datasets; y sin FTB-Core, el External9 de los 9 benchmarks públicos se queda en +3,14 pp. Segunda: tampoco vive solo en las modalidades espaciales que más se parecen al entrenamiento.
El experimento de scaling (§5.3, 7 subsets anidados de 50 a 4.000 proteínas, 600 a 48.000 objetivos) deja dos matices incómodos para el “más datos siempre gana”. La transferencia pica en 2.000 proteínas cuando amplitud de datos y compute escalan juntos; y subir la densidad de etiquetas de 3 a 12 por proteína, a cobertura y steps fijos, no da ganancia monótona. Es decir: importa la variedad de estructuras cubiertas, no apilar preguntas sobre las mismas proteínas.
Dónde gana y dónde se rompe
El §5.2 extiende el experimento con la misma comparación Pure-LoRA a otras escalas y familias: Qwen3.5-2B +5,41 pp, Qwen3.5-4B +4,84 y Qwen3.5-9B +3,22 (solo FoldingCorpus), e InternVL3.5-8B +1,53 con las tres semillas positivas. Los saltos más grandes en SpatialViz están en los Qwen3.5 pequeños, así que la curva de escala no es plana.
Y el límite que conviene citar completo: Gemma-4-12B-IT no se mueve (+0,07 pp, con dos semillas positivas y una negativa — ruido de base). Los autores lo leen como dependencia de arquitectura y dinámicas de adaptación: la misma receta que levanta cinco modelos deja al sexto en su nivel. Es el antídoto contra la lectura de titular: esto no es “plegar proteínas mejora cualquier LLM”, es “mejora estos modelos, con esta receta, en estos benchmarks, y hay al menos una familia donde no”.
Qué NO sabemos
- Sin peer review y con 5 días de vida (v1 del 30/09/2026, consultado el 05/10/2026). Todo lo anterior es lo que reportan los autores sobre sus propios entrenamientos; no hay réplica externa todavía.
- El mecanismo queda abierto. Los autores lo dicen literal: si es razonamiento reutilizable, un uso más fiable de capacidades ya preentrenadas, o adaptación de formato de respuesta, “remains unresolved”. Lo medido es conducta, no cómputo.
- Sesgo de selección de respuestas: el Apéndice H.1 audita fallos de parsing y concentra los restos de sesgo en SpatialViz; los autores lo declaran como limitación, no lo esconden, pero ahí queda.
- Cobertura proteica sin verificar de verdad: el screening de similitud 5-mer tiene solapes conocidos con los pools de scaling; homología remota y generalización a folds nuevos quedan sin verificar (limitaciones del paper).
- 749 preguntas de diferencia entre el total declarado y la suma de su Tabla 7, sin explicación en el texto consultado. No invalida nada, pero es el tipo de detalle que separa “leído” de “copiado”.
Qué haría yo
Si montas datasets de post-training: añade los tres controles a tu pipeline. Un run con etiquetas barajadas y otro con respuestas de formato puro, al mismo presupuesto, te dice si tu dataset enseña contenido o solo formato. Son 2 runs extra sobre una receta LoRA; aquí separaron +3,23 pp de −0,27.
Si quieres probar la receta: el setup es LoRA rank 16 sobre un modelo open-weight con 375 steps, es decir, territorio de un fine-tuning casero. Para montarlo sin quemar presupuesto, la guía de fine-tuning barato con Unsloth y LoRA cubre el setup real. Y antes de asumir que tu modelo de turno responde como Qwen3.5, mira el caso Gemma: pruébalo en tu familia, no en la del paper.
Si vienes de la línea de datos sintéticos: este paper es el complemento escéptico de UniEvo-VL, donde la auto-mejora con datos generados on-policy era la receta. Aquí el dato duro es que el contenido verificable importa más que el formato, y que el pico de transferencia llega antes de agotar el dataset. Para ver dónde está el resto del ecosistema open-weights en post-training, el análisis de la familia N2.5 cubre otra apuesta distinta.
Fuentes
- Primarias: arXiv 2609.38879 — abstract · HTML v1 completo (abstract, §1, §3, §5.1-5.3, Apéndices A, C, D, H, L y N) · API export.arxiv.org — consultados el 05/10/2026.
- Código: repo oficial GENTEL-lab/Fold2Reason (creado el 28/09/2026; verificado el 05/10/2026).
- Recepción: página del paper en Hugging Face (109 upvotes vía API, consultada el 05/10/2026).
- Contexto interno: UniEvo-VL: auto-mejora multimodal on-policy · fine-tuning barato con Unsloth y LoRA · familia NEX N2.5.