Associate Professor at the Technion, try to understand how AI works, and how to make it more efficient.
Haifa, Israel
Joined December 2019
- Tweets10
- Following5
- Followers32
- Likes22
Daniel Soudry retweeted
RAG and long context are usually treated as rival approaches, but both pick the evidence that matters, just at different scales.
What if one LLM did both?
UNREAL: one frozen LLM retrieves from a 3B-token corpus and filters its own 128K prompt.
arxiv.org/abs/2610.08463
Daniel Soudry retweeted
לקראת ראש השנה אנחנו מפרסמים את TLV AI 50: רשימה של 50 חוקרים ויזמים ישראלים בעלי ההשפעה הגדולה ביותר השנה בתחום ה-AI. חוקרים שהרעיונות שלהם מעצבים איך המודלים המודרניים חושבים, רואים ומסיקים, ויזמים שהופכים את הרעיונות האלה לשבבים, לחברות ולמוצרים שהעולם רץ עליהם.
הרשימה המלאה: 2026.tlvai50.com
30 חוקרים, 20 יזמים, 7 מאמרים. חשוב לציין שזה לא דירוג, אלא תמונת מצב של הישראלים המשפיעים ביותר בעולם מחקר ה-AI.
כמה מגמות שבולטים:
- ניאו-לאבס ישראליים סוף סוף צצים בשכבת המודלים
- אבטחת AI: דור חדש של AI natives מגדיר איך מחסנים ומאמתים מערכות - וישראל בחזית
- ראייה ממוחשבת: כמה מהמעבדות המצוטטות בעולם, עם סטארטאפים שהופכים את הכישרון הזה ל-physical AI
ולא רק: 7 מאמרים ראויים לציון של חוקרים ישראלים צעירים, מתחת לרשימה.
Daniel Soudry retweeted
In continual learning, what is the algorithmic bias of explicit regularization?
We answer this in our new COLT 2026 paper:
Convergence of Continual Learning in Homogeneous Deep Networks
Work by @MatanSchliserm1 joint with @itayevron and @soudry_daniel
arxiv.org/abs/2606.30559
Daniel Soudry retweeted
ישראלים בחו״ל — בסוף אוקטובר יתקיימו בישראל עשרות כנסים אקדמיים. המועד המדויק (ככה"נ 19 או 26 באוק') ייקבע בקרוב
לרשימת עשרות הכנסים שמתארגנים: mind-il.org/
Daniel Soudry retweeted
Excited to share our new arXiv preprint:
"Retrieval from Within: An Intrinsic Capability of Attention-Based Models"
We introduce INTRA, a framework where attention-based models retrieve from their own internal representations.
arxiv.org/abs/2605.05806
1/5 🧵
Accelerate your transformer model with the new Block-Sparse-Flash-Attention! github.com/Danielohayon/Bloc…
This training-free, drop-in replacement extends FlashAttention-2 with minimal code changes (CUDA Kernels Included). Paper: arxiv.org/abs/2512.07011
Daniel Soudry retweeted
Scaling FP8 training to trillion-token LLMs
From Intel. Trained a 7B model using FP8 precision on 256 Gaudi2 accelerators. Matched BF16 with 34% throughput improvement while using 30% less memory. Introduces Smooth-SwiGLU as solution to outlier amplification.
Links below
Daniel Soudry retweeted
I'm back in Vienna to present our paper at @icmlconf with Itamar Harel on Wednesday at 1:30 pm, at poster #907. Looking forward to meeting and chatting! #ICML2024
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323
Daniel Soudry retweeted
Selected as Spotlight for #ICML2024 ! 🥳
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323
Daniel Soudry retweeted
Q: You sample random neural networks until you find one with perfect training accuracy.
What will be the generalization error?
A: Typically good —
We prove that when a “simple explanation” exists, such sampled NNs (MLP/CNNs) generalize well!
arxiv.org/abs/2402.06323