pplx-decider-v1.1-27b scores the highest on Decision Bench for accuracy, with the lowest cost. It reached 94.5% accuracy across 1071 cases at $0.017 per 1,000 decisions. Full evaluation: decisionbench.ai/ Get Started: pplx.ai/decisions

pplx-decider-v1.1-27b, our updated open weights multimodal decision model, is now available. It scores the highest on the new @huggingface Decision Index 0.3 benchmark. pplx-decider-v1.1-27b costs half as much as v1, at $0.02 per million input tokens. huggingface.co/spaces/multim…

Stay calibrated out there!

👁️ Mercury Decide now accepts image input, which opens it up to a much wider range of applications: openrouter.ai/inception/merc… In the demo from @stefan_webb, Mercury Decide plays Ring King on NES, using Mercury Decide’s new vision capabilities to understand the state of the game and suggest the next action to take. What about the other applications? (🧵 1/4)

Zaid Mukaddam (@zaidmukaddam) udostępnił Amos 1, otwarte modele decyzyjne, więc sprawdziłem je na nowym zbiorze 500 produktów z polskich sklepów, zweryfikowanych ręcznie na zdjęciach etykiet. Największy wypadł u mnie najlepiej ze wszystkich dotąd testowanych, choć Jev był tuż za nim. Amos 1 to cztery modele (od 0,5 do 27 mld parametrów, licencja Apache 2.0), które działają podobnie jak Jev, Clef i basal: nie piszą tekstu, tylko dla każdej z podanych odpowiedzi zwracają prawdopodobieństwo. Poprzednie testy takich modeli robiłem na 145 produktach (sama nazwa i marka). Przy tak małym zbiorze jedna pomyłka zmienia wynik o prawie 0,7 punktu procentowego, a przy 500 już tylko o 0,2, więc przypadek ma tu mniejsze znaczenie. Nowy zbiór to produkty zeskanowane w sklepach: skład i alergeny każdego z nich sprawdziłem na zdjęciach etykiet, a kategorie przypisałem według własnych zasad (tam, gdzie modele niemal jednogłośnie podawały inną odpowiedź niż ja, przejrzałem je jeszcze raz i poprawiłem dane 31 produktów). Każdy model dostał te same pytania i te same dane w trzech zadaniach: przypisanie kategorii (raz z nazwy i marki, raz także ze składu) oraz rozpoznanie 14 alergenów ze składu (z pułapką, bo ostrzeżenie „może zawierać” nie oznacza, że alergen jest w składzie). Wyniki (Amos 1 large / Jev / Clef / GLM-5.3-Flash / basal 1.5): • kategoria z nazwy i marki: 93,0% / 92,6% / 91,4% / 91,8% / 90,6% • kategoria z nazwy, marki i składu: 96,2% / 96,0% / 94,8% / 91,2% / 90,6% • produkty bez błędu w żadnym z 14 alergenów: 496 / 493 / 485 / 489 / 464 (z 500) Amos 1 large (podobnie jak Clef i GLM) ani razu nie uznał za składnik alergenu, który pojawiał się tylko w ostrzeżeniu „może zawierać” (takich przypadków było 963), a w przeciwieństwie do Jeva, Clefa, GLM i basala wykrył gluten pochodzący ze słodu jęczmiennego. To o tyle ciekawe, że według opisu autora modele obsługują tylko język angielski, a mimo to po polsku duży poradził sobie u mnie bardzo dobrze, a średni przyzwoicie (najmniejszy z tych, które uruchomiłem, czyli small, w 44% przypadków dał się złapać na „może zawierać”). Dla mnie najważniejsze jest to, że Amos 1 large działa w domu, na jednym komputerze ASUS Ascent GX10 (układ NVIDIA GB10), a z Jeva, który wypadł niemal tak samo, korzystałem w chmurze Cloudflare. Amos załadował się zresztą dopiero wtedy, gdy na czas testu wyłączyłem generator obrazów działający na tym samym komputerze 🙃 Różnice między Amosem a Jevem to od jednego do trzech produktów na 500, więc traktuję to raczej jako remis niż wyraźne zwycięstwo, ale remis z modelem, który mogę uruchomić u siebie, bez wysyłania danych na zewnątrz. To wciąż tylko jeden rodzaj danych (produkty spożywcze z polskich sklepów), więc na innych wyniki mogą wyglądać inaczej.

As people know, I'm very much anti-public-benchmarks - even when we're ahead, so wouldn't recommend believing them blindly The biggest victim of benchmarks is exactly their target audience: people too busy to play with the models themselves and get a feel for their intelligence

Sprawdziłem, jak z moją grą Grodowo poradzą sobie dwa modele AI: Amos 1 large od Zaida Mukaddama (@zaidmukaddam) i basal-omni 1.0 max od Remka Kinasa (@KinasRemek). Oba wygrały po 3 z 5 rozgrywek, czyli tyle samo co mój bot testowy, który działa według zaprogramowanych reguł. Żaden z testowanych modeli nie pisze tekstu, tylko wybiera jedną z podanych odpowiedzi. Co 10 sekund gry (i dodatkowo po ważnych zdarzeniach) model dostawał po polsku opis swojej osady (zapasy, budynki, wolni osadnicy, czas do najazdu) i listę dostępnych w danej chwili ruchów (np. „Zbuduj: Chata drwala” w jednym z dwóch miejsc, „Wyszkol: żołnierz”, „Zwiad na południe” albo „Czekaj”), a gra czekała na jego decyzję. W trybie „Krótka gra” jest 14 celów, a dwa ostatnie to znalezienie i zniszczenie obozu najeźdźców. Wyniki na tych samych 5 mapach (wygrane / średnia liczba osiągniętych celów z 14): • Amos 1 large: 3 / 13,4 • basal-omni 1.0 max: 3 / 13,2 • bot testowy: 3 / 13,0 • basal 2.0 max: 1 / 11,6 • Jev: 0 / 9,8-10,0 (w trzech podejściach) • losowy wybór z tej samej listy ruchów: 0 / 5,8 Po pierwszej serii rozgrywek zmieniłem jedną rzecz. Wcześniej ruchy były zawsze w tej samej kolejności (z „Czekaj” na końcu), a Jev i oba basale w 80-85% przypadków wybierały ruch z ostatnich 20% listy (Amosa wtedy jeszcze nie testowałem). Teraz kolejność jest losowa (ale w tej samej sytuacji taka sama dla wszystkich modeli) i wszystkie wyniki powyżej pochodzą już z tej wersji. Na filmie dolina nr 3 (jedna z tych pięciu map): Amos zniszczył obóz po 6 min 13 s gry, a basal-omni 28 s później. Pod planszą każdego modelu widać ruchy, które wybierał, i to, na ile był ich pewny. Amos i basale działały u mnie w domu, na komputerze ASUS Ascent GX10 (układ NVIDIA GB10), a Jev w chmurze Cloudflare. Pięć map to wciąż mało, więc wyniki pierwszej trójki (od 13,0 do 13,4 celu) traktuję raczej jako remis.

Amos-1 Large 27B hits #1 on our leaderboard beating perplexity decider v.1.1 😳.. check it out: decisionbench.ai/