AI systems are not just models. That distinction is becoming impossible to ignore once AI leaves the demo stage and enters production.
At surus we are building the tools needed to develop and operate production-grade AI systems for our region Not prototypes, not benchmarks for benchmarks’ sake, but infrastructure that reflects how companies actually ship AI.
We just released a major update to Benchy, and it reflects that shift. Benchy started as a way to measure how well models perform on specific tasks. It has now evolved into a tool for evaluating AI systems end-to-end, across providers, modalities, and real operational constraints.
Why does this matter? In the real world, AI is not a single model answering a prompt. It’s a system: multiple components, APIs, retries, failure modes, latency tradeoffs, and infrastructure choices. A model can look great in isolation and still fail where it counts. Measuring only model quality no longer tells the full story.
With this release, Benchy moves closer to how AI is actually deployed:
- It evaluates systems, not just models
- It incorporates reliability and availability, not just accuracy
- It supports multimodal workloads, including document understanding
- It decouples tasks from providers, making comparisons clearer and more meaningful
Under the hood, this also meant rebuilding core pieces of the platform, removing legacy dependencies, and laying a foundation that can scale as systems get more complex.
If you’re thinking about AI beyond demos, about reliability, scale, and real use cases, this direction should feel familiar.
📄 Full release write-up here: lnkd.in/d2f932uq
Surus AI retweeted
Acabo de agregar al leaderboard el finetune español latam de whisper-large-v3-turbo hecho por @surusdev . Además descubrí que tienen una comunidad especializada en construir benchmarks para llms con foco en task especializadas para Latinoamérica. ¡Recomiendo seguir su trabajo!
We are SURUS, Latin America’s end-to-end AI company.
Our mission: make precision AI accessible, affordable, and production-ready — built for real businesses, not just research labs.
🔗 surus.dev
1/6
Each node bundles optimized models, refined prompts, and continuous benchmarking.
As new models emerge or our datasets grow, your endpoints get better — automatically.
It’s like your AI backend is evolving while you sleep.
5/6
Viste cuando le intentás hablar a una IA y tenes que cambiar la manera de hablar para que te entienda?
Debería ser al revés, las máquinas ajustadas a nuestra maneras.
Juntar y coleccionar nuestro lenguaje de manera diversa es un paso crucial para plasmar nuestro lenguaje.
Con @surusdev estoy recopilando datasets de habla en surgido de Argentina, hasta ahora tomando de trabajos Mozilla Commonvoice, Preseea, CORdeBA y OpenSLR.
Dataset resultante de pares voz-texto hosteado en Huggingface
Abierto a colaboración github.com/surus-lat/argenti…
Si tenés datos, podes contribuir con esta recolección en github.com/surus-lat/argenti…
Y recordá que nos podes encontrar y conversar en nuestro servidor discord.gg/W5hCbRNN
Finalmente terminamos los benchmarks de Tango-70b, utilizando los evals de #laleaderboard (proyecto de Somos NLP), y #Tango70b es el modelo #1 de habla hispana por lejos!
Podés encontrar más info en tangoia.com/benchmarks y podés chatear con Tango-70b en chat.tangoia.com/
Agradecemos a todo el equipo de surus.dev y de sandboxai org que colaboró en este enorme proyecto, y agradecemos a Amazon Web Services (AWS) por el apoyo que recibimos desde el lanzamiento de Tango-70b.
El compute que nos proveen hace posible la infraestructura de SURUS y el entrenamiento de aún mejores modelos.
PD: si les interesa reproducir los resultados de la evaluación de Tango-70b, subimos un repositorio abierto para esto
github.com/sandbox-ai/tango-…
Buen miercoles patrio! 🇦🇷
Tenemos una lectura recomendada para ustedes hoy:
Huggingface comparte "Efficient MultiModal Data Pipeline"
Nos cuentan de las técnicas que usaron para maximizar la eficiencia a la hora de utilizar sus datasets durante el entrenamiento de los modelos nanoVLM🚀
huggingface.co/blog/mmdp
Cada una de estas estrategias nos ahorra tiempo, energía y plata a la hora de disparar procesos larguísimos.
Si querés meter mano, pasate por el repositorio donde comparten el código para que pruebes esta estrategia!
github.com/ariG23498/mmdp
No te olvides de seguirnos y unirte a nuestro discord!
Tu curiosidad y experiencias son valiosísimas para construir IA en la región
discord.gg/sFeXDcAJ9K





