Pinned Tweet
Puzzle Garden - puzzle.crawling-with-love.co…
パズルゲームをまとめたWebアプリを作った
端末内で問題が生成されるので、プリセットされていない問題も事実上無限に遊べます
でじぃ retweeted
中国IT3社、エヌビディア新型カードを350億ドル超発注=関係筋 reut.rs/4i45pmF reut.rs/4i45pmF
"国内の企業や大学、研究機関が参画する技術研究組合「最先端半導体技術センター(LSTC)」は20日、回路線幅2ナノメートルの先端半導体を活用した医療用の画像処理システムの研究開発を、北海道大学や富士フイル厶、GEヘルスケア・ジャパン(東京都日野市)と共に開始すると発表した。"
産学で医療画像処理システム開発、ラピダス先端半導体の活用念頭 reut.rs/3U5y3vU reut.rs/3U5y3vU
でじぃ retweeted
産学で医療画像処理システム開発、ラピダス先端半導体の活用念頭 reut.rs/3U5y3vU reut.rs/3U5y3vU
でじぃ retweeted
DeepSeek이 Astra를 증류해서 모델을 냈다??
시발점이 된 테스트를 하신 분이 다시 글을 올려주셨어요.
인용글에서도 말씀드렸지만, DeepSeek V4.1 Flash 1017 모델의 지문 테스트가 GPT-6 Astra와 비슷하게 나왔다고 해서 DeepSeek이 Astra를 증류했다는 증거가 되지는 않습니다.
'너는 어떤 모델이냐'라는 질문 또한 하네스에 내장된 시스템 프롬프트가 없다면 다양한 답변이 나올 수 있습니다. OpenAI 모델들 또한 시스템 프롬프트에 모델명을 명시합니다.
DSV4.1F-1017의 토크나이저는 V4 때부터 사용된 DeepSeek의 자체 버전입니다. 증류로 모델의 성능을 이렇게 개선하려면, 모델의 토크나이저 또한 교사 모델 것과 유사하게 맞춰야 하는데 전혀 그렇지 않았습니다.
중국의 AI 랩이 증류에 기대던 시대는 끝났습니다. 그들은 자체적으로 충분한 역량을 가지고 있습니다.
“ds-4.1-flash-1017의 지문이 6-astra로 나왔다”, “DeepSeek 가격으로 GPT-6 Astra를 쓰는 거나 다름없다”.....
하지만 둘 다 틀린 말이라 봐야 합니다.
1. 지문 도구의 구조적 한계
해당 도구는 고정된 프로브(주로 의미 없는 숫자 생성)를 몇 번 보내고, 출력의 통계적 특징을 추출한 뒤 사전에 등록된 약 18개 모델(대부분 GPT/Claude 계열)과 비교하는 방식입니다.
문제는 DeepSeek이 라이브러리에 아예 없다는 점입니다. 등록되지 않은 모델은 무조건 “가장 가까운 것”으로 귀속되기 때문에, 오늘 나온 1017 버전이 Astra로 나온 것은 “스타일이 가장 비슷해 보이는 등록 모델”일 뿐, 증류 증거가 되지 않습니다.
2. 공식 학습 과정과 맞지 않음
DeepSeek-V4.1-Flash는 45T 토큰 규모의 코퍼스로 from scratch 사전학습되었습니다. 이후 SFT - RL - 내부 멀티티처 On-Policy Distillation으로 만들어졌습니다.
여기서의 증류는 DeepSeek이 자체적으로 만든 도메인 전문가 모델들을 하나로 합치는 과정이지, OpenAI 모델의 출력을 학습한 외부 증류가 아닙니다.
또한 토크나이저 역시 DeepSeek 자체 것(vocab 129,280)을 사용하고 있어, GPT의 o200k 계열과는 다릅니다.
3. 퀄리티 보장은 별개
지문이 비슷하게 나왔다고 해서 Astra급 퀄리티를 보장한다는 뜻은 아닙니다.
지문 도구는 주로 “랜덤 숫자 생성 같은 좁은 과제”에서의 분포 유사성을 보는 경우가 많고, 복잡한 추론, 창의성, 긴 컨텍스트 일관성 등에서는 모델 간 차이가 여전히 큽니다.
가격과 속도는 확실히 매력적이지만, 성능 자체를 Astra와 동일 선상에 놓을 근거는... 그냥 다른 벤치마크 보시면 아시겠죠. 직접 써 보시거나.
그래서 대충 정리해보자면, 현재 공개된 정보와 도구의 작동 원리를 종합하면 dsv4.1f-1017을 Astra에서 증류된 모델로 단정하기는 어렵고, 그렇다고 Astra급 퀄리티를 보장한다고 보기도 어렵습니다.
그리고 이젠 중국에서 굳이 증류를 할 필요도 없어 보입니다. 증류로 성능차를 따라잡던 시대는 거의 끝났습니다. 동등한 경쟁자로 보셔야 합니다.
AIでサイバー攻撃が激化するみたいなことは言われてはいたけど、結局ARTEXみたいなツールを自分で作って攻撃してやろうという人は少なかったんだなぁと思う
ハッカーグループとかは内製しててもおかしくないと思うけど、そういうグループは儲けるのが目的だからAIで手当たり次第に攻撃しても
でじぃ retweeted
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 github.com/deepseek-ai/DeepI…
1/4
"アマゾンの半導体部門アンナプルナ・ラボによると、新ソフト「TorchNeuron」を使えば、開発者は設定を1カ所変更するだけで、PyTorchで書かれたコードをアマゾンのAI半導体「Trainium」上で実行できる。コードを書き直す必要はないという。"
アマゾン、独自AI半導体普及に向け新ソフト導入へ エヌビディア優位に対抗 reuters.com/jp/markets/japan…
でじぃ retweeted
アマゾン、独自AI半導体普及に向け新ソフト導入へ エヌビディア優位に対抗 reuters.com/jp/markets/japan…



















