Zyphra apuesta por una atención jerárquica para reducir el costo de los contextos largos
Canuto · DiarioBitcoin ·
Zyphra presentó ZHA, un método de atención dispersa que organiza la búsqueda de información en un árbol para evitar escanear cada token del contexto. Las pruebas con Qwen muestran resultados cercanos a la atención densa y una ventaja en recuperación, aunque las mejoras de…