Programming addict (also on my free time)

Valencia, Spain
Joined December 2024
🔥 Ming 3.0 TTS. 0.5B params. En una palabra: espectacular. De verdad, usad la clonación de voz con alguna voz de studio, y tendreis una voz de studio en local. Dejo en el primer comentario el enlace por si alguien lo quiere checkear.
2
2
89
@barckcode creo que esto te interesa verlo ;)
1
1
8
He alquilado una RTX PRO 6000 por 1.80€/hora, he optimizado Qwen/Qwen3.8-Flash-Next hasta donde mi conocimiento da, y ahora voy a 450 tokens por segundo en decode. El TTFT está alto en el p95, pero oye, que para aprender sirve jajajaj
1
40
Y bueno, al final si pagase por los tokens me habría costado casi lo mismo, pero no habría aprendido, así una cosa mas. Eso sí, mérito que tiene la gente que se dedique a esto, porque mirar cómo sacarle hasta la ultima gota a la GPU es divertidísimo para un friki como yo
7
Anthropic acaba de comprar Stainless y, de paso, ha matado su producto. Lo que parece una simple adquisición de herramientas de dev es, en realidad, una maniobra estratégica para controlar el acceso a las APIs. 🧵
1
62
Las capas de desacoplamiento son algo de gestión de riesgos básica. En un ecosistema donde las adquisiciones y los cambios de stack ocurren cada semana, la soberanía sobre tus integraciones es lo único que te da estabilidad.
1
24
Quiero empezar a formarme sobre las ELM (Expert Language Model), y he visto un post de reddit de alguien que trabajó en Apple que es una mina de oro. De verdad, he leido el post, navegado por los comentarios, y habia un montón de info, luego se lo envié a Hermes y me escribió un “plan de aprendizaje” con referencias y pinta muy bien. Iré contando mi experiencia, tengo la documentación de unsloth, de klin, y unos videos muy jugosos para ver, pero estoy deseando YA el ponerme a trastear Dejo el post de reddit en el primer comentario ;)
1
59
Hoy estoy haciendo algo que me hace ilusión, que es probar a hacer fine tuning del modelo Qwen embedding de NaN para leyabierta.es. Hasta el momento, lo más difícil ha sido conseguir un dataset decente (que creo que ahora sí lo tengo), y ahora estoy probando el fine tuning en sí, por lo que os iré actualizando conforme vaya (y espero que vayamos a buen puerto) El objetivo es que en Ley Abierta, podamos usar los modelos de NaN para dar el servicio de chat ciudadano, pagando simplemente un fee mensual, con stack europeo, y aprovechar y aprender sobre el tema :)
2
64
Han sacado un retrieval BM25 23x más rápido, y eso tiene bastantes implicaciones en flujos agénticos reales, y vengo a explicártelo HILO 🧵
so we built psql_bm25s. exact BM25 retrieval. native Postgres access method. ~23x faster than pg_search on the standard benchmark. retrieval stops being a budget item. the harness stops rationing. the agent gets to look things up like it should have the whole time.
1
2
104
psql_bm25s implementa BM25 lexical retrieval nativo en Postgres, 23x más rápido que pg_search en sus benchmarks. Con ese coste de lookup, subir a top_k=15 o top_k=20 deja de ser una decisión de latencia. Esto hace que se obtengan más documentos en las búsquedas semánticas, lo cual proporciona mejores respuestas al final de todo.
1
19
Lo que lo separa de cualquier search DB externa es que se compone con SQL nativo. En la misma query que hace el retrieval puedes filtrar por tenant_id, aplicar RLS y joinear con tu tabla de users. Sin sincronización, sin servicio extra, y encima con licencia Apache 2.0.
30