개소리임 ㅎㅎㅎ
개발자 분들!!!!! 주식하시는 분들!!!!
🚨 진짜 속보입니다.....!!!! (오늘.. 8월 8일 기준)
해외에서도 진짜 난리났고요.
(엔비디아 진짜 비상걸렸습니다.)
(진짜 기존 AI 판도, AI 시장을 100% 바꿔버릴 수 있는..... 스타트업이 될 것 같습니다.)
--> AI 모델의 "가중치" 그 자체를 "반도체"에 물리적으로 박아버리는 스타트업입니다.
(기존 GPU와 완전히 다릅니다.)
(갠적으로 진짜 미친 아이디어라고 생각합니다.)
(이렇게 되면 기존보다 진짜 ⚡️ 수 십배 좋은 전력 효율, 수 십 배 빠른 속도를 낼 수 있습니다.)
Taalas라는 스타트업인데요.
한국 기준으로는 바로 어제 새벽!!
--> "AMD"가 이 AI 반도체 스타트업을 인수하기로 최종 계약을 체결했습니다.
여기서 중요한 건 GPU에 AI를 박는다가 아닙니다.
GPU 자체를 거의 필요 없게 만들고,
특정 AI 모델 하나만을 위한 전용 칩을 새로 만들어버리는 겁니다.
과장이 아니라.. 진짜 앞으로 5년 이내에 이렇게 될 수 있습니다.
---> "클로드 Fable 5 전용 그래픽카드"를 만들어서,
집 PC에 꽂고 클로드 Fable급 AI를 "개인용"으로 24시간 돌리는 미래를 만들어줄 수 있습니다.
(제가 저 기술 관련 논문 찾아봤는데, 진짜 기술적으로 가능할 것 같아요. 빠르면 5년 이내에?)
이게 그냥 제가 상상만 한 얘기가 아닙니다. 진짜.
얘네가 만든 칩은 그래픽 카드처럼 메모리에 AI를 올려서 돌리는 게 아닙니다.
지금까지 실제로 대중에게 공개된 건
라마(Llama) 3.1 8B라는 AI 모델 자체를 본인들의 반도체에 물리적으로 박고 실행까지 제대로 됐습니다.
지금 엔비디아 GPU
--> "아무 AI나 가져오세요. 제가 계산해드릴게요."
(아시겠지만, 범용으로 게임도 가능하고 그 어떠한 AI 모델도 처리가 가능하지만..)
Taalas(탈라스)는
--> "난 Llama 하나밖에 못함.
대신 얘 하나는 미친 듯이 잘함."
실제로 그 대가로 나온 게...
1. 사용자 한 명 기준 약 17,000토큰/초
2. 공개 데모에서도 15,000토큰/초 이상
3. 1,000토큰짜리 답변 생성에 약 0.06초
4. NVIDIA Blackwell 대비 약 48배
5. 구축 비용 20배↓
6. 전력 10배↓
입니다.
근데 제가 여기서 진짜 미친 상상을 하나 해봤습니다.
---> "이걸 Llama 8B 말고 Fable 5로 만들면요?"
물론 Fable 5의 실제 모델 크기와 내부 구조는 공개되지 않았기 때문에,
지금 저 스타트업의 칩 한 장에 Fable 5가 통째로 들어간다고 말할 수는 없습니다.
만약..
앤트로픽이 이 스타트업과 계약을 한다면?
몇 개월 뒤 Fable 5 급 모델이 오픈소스로 공개된다면??
(오픈 웨이트 AI 모델은 지금 프론티어 AI 모델보다 딱 "6개월" 뒤처져 있습니다.)
(--> 이게 말하는 것은 6개월 뒤면 "Claude Fable 5" 급 모델이 오픈웨이트 모델로 나올 수 있다는 뜻이죠.)
Taalas가 "Fable 5 딱 하나만 돌리는 전용 칩"을 만든다면 제가 위에서 말한 상상도 진짜 가능합니다.
실제로도 Taalas도 여기서 멈출 생각이 없는 것 같습니다.
다음 세대 칩은
--> "아예 frontier LLM을 실리콘"으로 만들겠다고 밝혔습니다.
실제로 탈라스 스타트업이 새로운 AI 모델을 전달받은 뒤 전용 실리콘으로 만드는 데..
-----> 단! "2개월"이면 된다고 공식적으로 주장했습니다.
이게 성공하면 진짜 재미있는 일이 생깁니다.
지금 Fable 5 API는 출력 100만 토큰에 $50입니다.
근데 범용 GPU를 포기하고 Fable 5 하나만을 위해 칩을 찍어서 추론 비용이 몇 배, 몇십 배씩 내려가기 시작하면?????
지금은 비싸서 중요한 작업에만 꺼내는 Fable 5를,
나중에는 Sonnet보다 싸게 하루 종일 갈아 넣는 시대가 올 수도 있습니다.
"Fable 5 전용.. 가정용, 개인용 칩 공개!"
-> 내 PC에 꽂음
-> 인터넷 없어도 Fable 5급 AI가 로컬에서 계속 돌아감
-> API 비용 없음
-> 내 코드, 파일이 외부 서버로 안 나감
-> 답변은 거의 즉시 쏟아짐 (거의 디퓨전 모델 마냥)
현재 저 스타트업에서 만든 HC1도
----> 약 250W짜리 PCIe 카드 형태입니다.
당장 Fable 5가 카드 한 장에 들어간다는 얘기는 절대 아니지만,
밀도가 계속 올라가고 큰 모델까지 여러 전용 칩으로 쪼개 넣을 수 있게 되면...
"그래픽카드 뭐 쓰세요?"가 아니라
"무슨 AI 칩 뭐 쓰세요?"라고 묻는 시대가 진짜 올 수도 있습니다.
RTX 5090 사듯이
--> Fable 5 Edition
--> GPT-6 Edition
이런 걸 사는 거죠. ㅋㅋㅋㅋ
AMD가 산 건 단순히 초당 17,000토큰 나오는 작은 AI 칩 회사가 아닐 수도 있습니다.
"AI를 GPU에서 실행하는 시대" 다음에 올
"프론티어 AI 자체를 '내 집 PC'에서 돌릴 수 있는 시대"의 기술을 사버린 걸수도 있습니다....
roll day retweeted
지극히 개인적인 View이지만 아직도 애플이 압도적인 물리인프라와 데이터셋을 베이스로, 즉 30억대의 애플 기기와 역산이 불가한 아이클라우드상의 무한 데이터를 무기로 Physical AI 전쟁에서 "한자리"할 수 있다는 생각을 유지하고 있습니다.
권석준 성균관대 교수의 짧은 강연을 듣고 문득 이런 생각이 들었다.
클라우드 AI의 시대가 끝나고 온디바이스 에이전트의 시대가 오면, 애플이 다시 판을 뒤집을 수 있다.
아이폰, 아이패드, 맥북까지 애플은 이미 수십억 대의 하드웨어를 전 세계에 깔아놓았다. 지금은 메모리 제약 때문에 로컬에서 쓸 만한 LLM을 돌리는 게 요원해 보이지만, 이 병목이 풀리는 순간 게임의 룰이 바뀌지 않을까..
서버에 쿼리를 날리는 AI가 아니라, 내 기기 안에서 나만을 위해 작동하는 에이전트 AI. 프라이버시는 자연스럽게 해결되고, 레이턴시도 없다. 그리고 아이폰-아이패드-맥이 각각의 에이전트로 작동하면서 하나의 생태계로 연결된다면… 애플은 수십억 개의 개인화된 에이전트 노드를 소유한 유일한 회사가 되지 않을까.
오픈AI도, 구글도, 메타도 이 하드웨어 자산을 가지고 있지 않다.
그냥 비전문가의 상상이다.
roll day retweeted
권석준 성균관대 교수의 짧은 강연을 듣고 문득 이런 생각이 들었다.
클라우드 AI의 시대가 끝나고 온디바이스 에이전트의 시대가 오면, 애플이 다시 판을 뒤집을 수 있다.
아이폰, 아이패드, 맥북까지 애플은 이미 수십억 대의 하드웨어를 전 세계에 깔아놓았다. 지금은 메모리 제약 때문에 로컬에서 쓸 만한 LLM을 돌리는 게 요원해 보이지만, 이 병목이 풀리는 순간 게임의 룰이 바뀌지 않을까..
서버에 쿼리를 날리는 AI가 아니라, 내 기기 안에서 나만을 위해 작동하는 에이전트 AI. 프라이버시는 자연스럽게 해결되고, 레이턴시도 없다. 그리고 아이폰-아이패드-맥이 각각의 에이전트로 작동하면서 하나의 생태계로 연결된다면… 애플은 수십억 개의 개인화된 에이전트 노드를 소유한 유일한 회사가 되지 않을까.
오픈AI도, 구글도, 메타도 이 하드웨어 자산을 가지고 있지 않다.
그냥 비전문가의 상상이다.
roll day retweeted
시클리컬/비-시클리컬 떠드는 놈들은 시클리컬의 본질도 모르고 코리아 디스카운트의 본질도 모른다.
이 모든 결정권은 어디서 나오는지 아냐?
압도적인 B2C 비지니스의 독점성에서 나온다. 메모리가 어쩌고 저쩌고 그래서 그거 누가 결정하냐? 사는 놈이 결정하지? 사는 놈이 누구야? 빅테크 아냐? 그럼 빅테크는 왜 먹이사슬 최상단일까? 그야 걔들 말고 실제 소비자한테 판매하는 제품을 만드는 애들이 없으니까. 이건 모든 중간재 서플라이 체인에 동일한 로직이고, 해당 생태계 가장 윗 단 기업과 그 기업이 위치한 메크로 상황이 결정하거든. 코리아 디스카운트는 여기서 나옴. 한국은 독점력이 있는 B2C 상품이 없으니까 시클리컬인거고, 그러니까 디스카운티드 되는거임.
다만 여기서 유일하게 외부 요인 하나 있는 게 중국인데, AI는 패권 경쟁이라서 울며 겨자먹기로 capex 열차는 멈출 수 없다는 거. 이것도 두고볼 일.
빅테크가 메모리에 과거에 어떻게 했는데 이제와서 난리냐. 가격을 얼미니 후려폈는데. 지금 가격을 올렸어도 메모리 없으면 장사 못하게 만들면 된다.
라며 저보고 쌉소리하지 말라는 사람들이 있는데…
거기서 경리 결산, 관리 결산하며 손익관리한 사람이 접니다.
그 놈의 손익 때문에 제가 더 많이 쪼임을 받았을까요? 저한테 쌉소리한다는 분들이 많이 받았을까요?
그들의 횡포를 제가 많이 봤을까요? 아님 그 분들이 많이 봤을까요?
그럼에도 왜 전 이런 얘기를 할까요?
메모리가 정말 싸이클 산업에서 벗어나길 바래서입니다. 영업마진 안정적으로 30%든 40%든 50%든 먹고 물량으로 롱런하길 바래서.
그러려면 그 놈의 복수를 끝내야겠지요.
지난 번 당한 걸 복수해야겠다는 마음이 있으면 상대방도 느낍니다. 그러면 다시 포지션이 바뀌었을 때 또 다른 복수를 낳습니다.
굴복시키고 싶은 건가요?
그럼 해보세요. 미국 빅테크들한테.
하아 쥬니어엔지니어뽑는것도 너무 힘듬. 괜찮은 쥬니어가 있었는데 현재 세상에서 제일 돈을 잘버는 5개 회사들과 인터뷰를 보고 모든 회사가 오퍼를 줌. 그중에 젤 많이 주는곳으로 가는데 연봉이 한국돈으로 7억임. 우리회사도 내가 강하게 푸쉬해서 참전했다가 결국 gg당함ㅜㅜ
roll day retweeted
개발자 한 명이 한 달에 토큰 값으로만 130만 달러를 태우는 게 요즘 AI 코딩의 매운맛임. 미국 시니어 엔지니어 7명을 일 년 내내 굴릴 돈을 단 30일 만에 에이전트 연산으로 녹여버린 꼴임. 인건비 아끼겠다고 무작정 에이전트 돌리다간 무대 뒤에서 인프라 청구서 폭탄 맞고 파산하는 팀 수두룩하게 나올 듯.
Insane: OpenClaw founder Peter Steinberger spent $1.3 million in tokens in just 30 days 😳
$1,3,00,000 in tokens from just one person coding & shipping with AI…
To put that into perspective, for $1.3M, you could:
→ Hire 6-7 senior software engineers in the US. For a full year.
→ 14-16 Sr. SWEs in Lithuania. For a full year.
→ 24-26 Sr. SWEs in India. For a full year 🤯
Now we know why he really joined OpenAI…
Tokenmaxing is getting out of hand.
roll day retweeted
The vibes in SF feel pretty frenetic right now. The divide in outcomes is the worst I've ever seen.
Over the last 5yrs, a group of ~10k people - employees at Anthropic, OpenAI, xAI, Nvidia, Meta TBD, founders - have hit retirement wealth of well above $20M (back of the envelope AI estimation).
Everyone outside that group feels like they can work their well-paying (but <$500k) job for their whole life and never get there.
Worse yet, layoffs are in full swing. Many software engineers feel like their life's skill is no longer useful. The day to day role of most jobs has changed overnight with AI.
As a result,
1. The corporate ladder looks like the wrong building to climb.
Everyone's trying to align with a new set of career "paths": should I be a founder? Is it too late to join Anthropic / OpenAI? should I get into AI? what company stock will 10x next? People are demanding higher salaries and switching jobs more and more.
2. There’s a deep malaise about work (and its future).
Why even work at all for “peanuts”? Will my job even exist in a few years? Many feel helpless. You hear the “permanent underclass” conversation a lot, esp from young people. It's hard to focus on doing good work when you think "man, if I joined Anthropic 2yrs ago, I could retire"
3. The mid to late middle managers feel paralyzed.
Many have families and don't feel like they have the energy or network to just "start a company". They don't particularly have any AI skills. They see the writing on the wall: middle management is being hollowed out in many companies.
4. The rich aren’t particularly happy either.
No one is shedding tears for them (and rightfully so). But those who have "made it" experience a profound lack of purpose too. Some have gone from <$150k to >$50M in a few years with no ramp. It flips your life plans upside down. For some, comparison is the thief of joy. For some, they escape to NYC to "live life". For others still, they start companies "just cuz", often to win status points. They never imagined that by age 30, they'd be set. I once asked a post-economic founder friend why they didn't just sell the co and they said "and do what? right now, everyone wants to talk to me. if i sell, I will only have money."
I understand that many reading this scoff at the champagne problems of the valley. Society is warped in this tech bubble. What is often well-off anywhere else in the world is bang average here.
Unlike many other places, tenure, intelligence and hard work can be loosely correlated with outcomes in the Bay. Living through a societally transformative gold rush in that environment can be paralyzing. "Am I in the right place? Should I move? Is there time still left? Am I gonna make it?" It psychologically torments many who have moved here in search of "success".
Ironically, a frequent side effect of this torment is to spin up the very products making everyone rich in hopes that you too can vibecode your path to economic enlightenment.
