AI systems are not just models. That distinction is becoming impossible to ignore once AI leaves the demo stage and enters production.
At surus we are building the tools needed to develop and operate production-grade AI systems for our region Not prototypes, not benchmarks for benchmarks’ sake, but infrastructure that reflects how companies actually ship AI.
We just released a major update to Benchy, and it reflects that shift. Benchy started as a way to measure how well models perform on specific tasks. It has now evolved into a tool for evaluating AI systems end-to-end, across providers, modalities, and real operational constraints.
Why does this matter? In the real world, AI is not a single model answering a prompt. It’s a system: multiple components, APIs, retries, failure modes, latency tradeoffs, and infrastructure choices. A model can look great in isolation and still fail where it counts. Measuring only model quality no longer tells the full story.
With this release, Benchy moves closer to how AI is actually deployed:
- It evaluates systems, not just models
- It incorporates reliability and availability, not just accuracy
- It supports multimodal workloads, including document understanding
- It decouples tasks from providers, making comparisons clearer and more meaningful
Under the hood, this also meant rebuilding core pieces of the platform, removing legacy dependencies, and laying a foundation that can scale as systems get more complex.
If you’re thinking about AI beyond demos, about reliability, scale, and real use cases, this direction should feel familiar.
📄 Full release write-up here: lnkd.in/d2f932uq
Surus AI retweeted
Acabo de agregar al leaderboard el finetune español latam de whisper-large-v3-turbo hecho por @surusdev . Además descubrí que tienen una comunidad especializada en construir benchmarks para llms con foco en task especializadas para Latinoamérica. ¡Recomiendo seguir su trabajo!
Our vision is simple:
To turn LATAM into an AI powerhouse — with world-class infrastructure, regional benchmarks, and precision-built tools that anyone can deploy.
From research to production, from benchmark to endpoint — we’re building the full stack.
Come build with us. 🚀
6/6
Each node bundles optimized models, refined prompts, and continuous benchmarking.
As new models emerge or our datasets grow, your endpoints get better — automatically.
It’s like your AI backend is evolving while you sleep.
5/6
Once you can measure performance, you can build for it.
That’s why we launched our Task-Oriented AI Nodes — ready-to-use API endpoints for real tasks like /transcribe, /translate, and /extract.
No prompt engineering, no fine-tuning, no maintenance — just plug in and get production-grade AI that keeps improving.
4/6
To make this possible, we first needed to measure what “good” means for our region.
So we helped create LatamBoard — a community-driven benchmark platform for evaluating AI systems in Spanish and Portuguese.
It defines what matters for LATAM: relevance, accuracy, and cultural context.
🔗 latamboard.ai
3/6
Most AI today is built for general use — powerful, but inefficient and costly.
We build specialized models that outperform large, generic ones on specific tasks, at a fraction of the cost.
Smaller, faster, cheaper — and better tuned for Spanish, Portuguese, and regional needs.
2/6
We are SURUS, Latin America’s end-to-end AI company.
Our mission: make precision AI accessible, affordable, and production-ready — built for real businesses, not just research labs.
🔗 surus.dev
1/6
Y recordá que nos podes encontrar y conversar en nuestro servidor discord.gg/W5hCbRNN
Si tenés datos, podes contribuir con esta recolección en github.com/surus-lat/argenti…
Viste cuando le intentás hablar a una IA y tenes que cambiar la manera de hablar para que te entienda?
Debería ser al revés, las máquinas ajustadas a nuestra maneras.
Juntar y coleccionar nuestro lenguaje de manera diversa es un paso crucial para plasmar nuestro lenguaje.
Con @surusdev estoy recopilando datasets de habla en surgido de Argentina, hasta ahora tomando de trabajos Mozilla Commonvoice, Preseea, CORdeBA y OpenSLR.
Dataset resultante de pares voz-texto hosteado en Huggingface
Abierto a colaboración github.com/surus-lat/argenti…
PD: si les interesa reproducir los resultados de la evaluación de Tango-70b, subimos un repositorio abierto para esto
github.com/sandbox-ai/tango-…
Agradecemos a todo el equipo de surus.dev y de sandboxai org que colaboró en este enorme proyecto, y agradecemos a Amazon Web Services (AWS) por el apoyo que recibimos desde el lanzamiento de Tango-70b.
El compute que nos proveen hace posible la infraestructura de SURUS y el entrenamiento de aún mejores modelos.
📷Aún queda muchísimo trabajo por hacer, no solo en datos y entrenamiento, sino también en el armado de benchmarks que reflejen los intereses y conocimientos de nuestra región.
Lo bueno es que esto ya no es sci-fi o rocket-science: están los papers, los datasets y el training code. Es cuestión de hacer el enorme trabajo que nos queda adelante.
Si te interesa colaborar con SURUS, podés contactarnos por discord! discord.gg/EQKpXq3v
📷 Este es solo un pequeño primer paso, que tuvo el objetivo de que #Argentina y #LatAm aparezcan en el mapa de AI global. Aún nos falta para competir mundialmente, pero nuestro roadmap incluye muchos modelos nuevos, ahora con más compute, más data, mejores algoritmos y más experiencia.
📷Argentina y LatinoAmérica necesitan modelos de IA nativos que sean world-class, en conjunto con la infrastructura necesaria para servirlos a las 600+ millones de personas de nuestra región. Esto no es solo por interés geopolítico y social sino también comercial: Argentina y LatAm pueden ser la región de mayor crecimiento en las próximas décadas, y desarrollar IA e infra nativas es indispensable para que esto ocurra.
Esta es la misión de surus.dev
Finalmente terminamos los benchmarks de Tango-70b, utilizando los evals de #laleaderboard (proyecto de Somos NLP), y #Tango70b es el modelo #1 de habla hispana por lejos!
Podés encontrar más info en tangoia.com/benchmarks y podés chatear con Tango-70b en chat.tangoia.com/
No te olvides de seguirnos y unirte a nuestro discord!
Tu curiosidad y experiencias son valiosísimas para construir IA en la región
discord.gg/sFeXDcAJ9K
Cada una de estas estrategias nos ahorra tiempo, energía y plata a la hora de disparar procesos larguísimos.
Si querés meter mano, pasate por el repositorio donde comparten el código para que pruebes esta estrategia!
github.com/ariG23498/mmdp
Reempaquetar!
Imaginate el tetris que haces cuando empacás una valija para viajar. No tendrías una valija por cada prenda de ropa que llevás, no?
Eso es lo que hicieron estos desarrolladores para que en cada tanda de entrenamiento se aproveche al máximo la ventana de contexto.







