
Making quality a habit. Principal QA at @technosylva @NorthemQuality Co-organizer.
Gijón
Joined September 2010
- Tweets12.7K
- Following269
- Followers2.2K
- Likes13K
Pinned Tweet
🐞 Over 10K users rely on this browser extension for Exploratory Testing. Give it a try
Feedback is welcome!
chromewebstore.google.com/de…
Fran Moreno retweeted
En 1984, una pareja celebraba su boda en Polonia cuando cinco hombres de pelo largo entraron sin invitación y terminaron tocando con los instrumentos de la orquesta.
Eran los integrantes de IRON MAIDEN.
Pero lo más increíble es que aquella noche no tocaron ni una de sus canciones.
La banda se encontraba de gira por Polonia, todavía bajo el régimen comunista, cuando sus integrantes terminaron en el club Adria, en la ciudad de Poznań, donde se estaba celebrando una boda.
Al principio solo querían tomar unas copas. Pero cuando vieron que había músicos tocando en directo, se les ocurrió una idea: pedirles prestados los instrumentos y subir al escenario.
Los músicos de la fiesta aceptaron, aunque el baterista estaba especialmente preocupado por lo que aquellos desconocidos pudieran hacerle a su equipo.
Y entonces ocurrió algo que parecía imposible.
Bruce Dickinson, Steve Harris y sus compañeros comenzaron a tocar "Smoke on the Water", de Deep Purple, y "Tush", de ZZ Top.
Lo más divertido es que no interpretaron ninguna canción de Iron Maiden.
Bruce Dickinson recordaría años después que ni siquiera estaba seguro de que los invitados supieran quiénes eran aquellos músicos que habían aparecido de repente en su celebración.
Pero hay un detalle que hace esta historia todavía mejor: todo quedó grabado.
Parte de aquella actuación terminó apareciendo en el documental Behind the Iron Curtain, que registró la histórica gira de Iron Maiden por Europa del Este en 1984.
Y pensar que, mientras miles de seguidores pagaban por ver a Iron Maiden en concierto, unos novios polacos terminaron teniendo a la banda tocando gratis en su boda.
Hay parejas que contratan una orquesta para su boda. Y hay otras que, sin saberlo, terminan con Iron Maiden tocando canciones de Deep Purple.
¿Estarán sintiendo los matemáticos lo mismo que los ajedrecistas con DeepBlue hace 30 años?
Muy de acuerdo con esta visión. Además, me parece la evolución más natural, y casi única, para la gente de QA. blog.reqproof.com/p/the-birt…
Fran Moreno retweeted
Clear intent with your AI-generated code is crucial. And confidence in your results takes more than just passing a test.
Our free ebook, Spec-Driven AI Development, covers specs, risk-based testing, and evaluating agent-produced code.
Años renegando de las factorías de software y ahora presumimos de ser la más eficiente posible
Pionera
Margaret Hamilton, who led the 100-person team that wrote the onboard software for the Apollo missions, has died. nyti.ms/3U9IrTj
Los tests son útiles, pero nunca han sido un fin en sí mismos.
Si no aportan confianza, no tienen ningún valor.
Con IA o sin IA
ok it's official... AI-written unit tests and integration tests are empirically proven to be unhelpful. you should tell your agents to stop writing tests by themselves
on the deepswe eval set, banning sonnet 5.5 high from writing any tests actually resulted in slightly higher success rate (non stat-sig), with less time and token spent (stat-sig). this is pretty hard empirical evidence
across the tests that were written by the "tests allowed" baseline arm, 65% of them were unit tests, 35% were integration tests, neither bucket resulted in any improvement compared to not writing any tests at all
i also picked a random sample of 44 tasks subset where i completely disabled executing even existing tests - it also did not affect success rate at all
i spot checked many tests written in the baseline arm, and my intuition is that most tests are simply a repetition of the implementation
agent-written tests do not add any value because both the implementation and the tests were simply the agent's interpretation of our intent. the tests aren't any more accurate than the implementation itself
i suspect we can still extract some value from unit tests and integration tests if we describe them ourselves when we believe we can articulate our intent better through test cases than through requirements. but i have not proven this yet
also worth noting, during deepswe eval the agent wrote almost no e2e tests (only 17, compared to 3000+ unit/integration tests written). so this analysis does not prove nor disprove the value of e2e tests - i will do another eval specifically for that
Fran Moreno retweeted
Creo que la IA está eliminando demasiada fricción del desarrollo de software.
Y no toda la fricción era mala.
Durante años hemos intentado dejar de ser una factoría de software.
Irónicamente, ahora vamos a toda velocidad a convertirnos en la más eficiente de la historia.
🤖 Made with AI
Creo que la IA está eliminando demasiada fricción del desarrollo de software.
Y no toda la fricción era mala.
Durante años hemos intentado dejar de ser una factoría de software.
Irónicamente, ahora vamos a toda velocidad a convertirnos en la más eficiente de la historia.
🤖 Made with AI
Tenemos que diferenciar dos tipos de fricción.
La mecánica:
boilerplate, configuración, tareas repetitivas, documentación...
Esa quiero eliminarla.
La intelectual:
cuestionar requisitos, entender usuarios, discutir trade-offs, decidir qué NO hacer...
Esa quiero conservarla.
🤖 Made with AI
Automate execution. Don't automate understanding.
Cuanto más fácil sea construir software, más importante será entender qué merece la pena construir.
Sobre esto va mi último artículo: morvader.substack.com/p/la-i…


















