七月的AI股大跌讓許多投資人措手不及，但在 Benchmark 辦公室錄製的這集訪談中，Gavin Baker 描述的卻是一幅完全相反的畫面：股價腰斬的同時，他在矽谷找不到任何一個轉弱的量化指標。 「我這禮拜來這裡的主要任務就是壓力測試，」他說，「告訴我一件負面的事。但我一直找不到一個真的是量化指標的負面訊號。底層基本面正在改善，而就在我們錄音的此刻，Nvidia 的forward PE是過去十年來最低的。」 #七月：一個月走完2022年 Gavin Baker 用一句話總結這個月：「我會說七月就是把2022年濃縮在一個月裡。」大量AI相關個股從高點下跌五成到六成，而且是一個月內直線下墜。 他把這個月的下跌拆解成一連串事件。首先是 Meta 要出租算力的消息，市場解讀為產能過剩、資本支出即將被砍。「這完全不是那回事。他們剛公布財報，根本沒有砍capex。」他說，實際情況是 Meta 看到 SpaceX 把一批針對訓練優化的大型cluster以遠高於合約價的價格賣進市場，於是看到了機會。市場推測 Meta 可能想先在一小部分產能上證明能產生很強的IRR，再去募集股權資金，然後把capex拉得更高。 「但無論如何，市場因為把這件事解讀得非常負面而賣出，而我非常確定這不是負面的。」他表示，關於 Meta 的capex計畫有很多可觀察的訊號，那些訊號完全沒有轉向，如果有變化，也是變得更積極。緊接著 Meta 發布了 Muse 1.1，這是他們很久以來最好的模型，只是被 Grok 4.5 的光芒蓋過。 接著 Kimi 出來，市場對開源模型出現巨大恐慌，同一時間 Silicon Data 的token指數走平下滑，兩件事被連結在一起。然後是中國有了DUV機台的消息，引發semicap設備股大跌。最後是他認為真正有內容的疑慮：實質殖利率上升、信用利差擴大。 #找不到一個轉弱的量化指標 在整個下跌過程中，Gavin Baker 反覆問同一個問題：有沒有任何一個量化指標顯示AI需求在減速？ 「什麼都沒有。事實上，每個指標都在加速。」他說，「不管你怎麼切，GPU可得性、GPU租賃價格、這個月DRAM的現貨價、token成長，全部都在加速。」 他認為問題有一部分出在市場的可見度。公開市場看不到 Anthropic 和 OpenAI，也看不到在美國靠inference變現的那批開源inference cloud，像是 Fireworks、Baseten、Modal、Together。「當你看到那些數字，整個畫面會很不一樣，因為開源因為 GLM 5.2、Kimi K3而大幅加速，Nemotron 也持續在推進。OpenAI 加速了，Anthropic 持續強勁成長，而且幾乎確定正在產出可觀的自由現金流。」 大家常看的那張圖，半導體現金流往下、hyperscaler自由現金流往下，漏掉的正是這些私人公司。 #GPU租金不跌反漲 Gavin Baker 認為那張圖還漏掉一件更重要的事。 「2024和2025年，就算你是超級多頭，你也只是認為GPU的租金會緩慢下滑；如果你偏空，你會認為它會急速下滑。我不認為2024或2025年有任何人想過，舊GPU的價格在2026年還會垂直上升。」 於是原本被視為聰明的長約策略，反而讓已安裝的算力基礎以遠低於現貨市場的價格被鎖住。很多neocloud當初必須簽長約，因為它們需要offtake agreement才能為GPU取得融資。「隨著這些合約到期，算力會被重新定價到更高的水準。就算現貨價下跌，算力還是會被重新定價得更高。」 他舉了一個當天早上的例子。一家矽谷最搶手的新創租了幾千張 B200 的cluster，目前價格大約在每GPU小時兩美元出頭，「他們租的是完全一樣的cluster，一樣的規模，各方面幾乎完全相同，然後他們希望七個月後能付到不到四美元。」 以起算點不同來看，這是六、七個月內漲了五成到六成。另一個例子是某家inference cloud公開表示，合約到期後他們預計要為 Blackwell 多付一倍的價格。「這意思就是，所有hyperscaler現在都在低估自己的獲利能力。」 實際數字上，Microsoft、Meta、Amazon 的營運現金流已經從28%加速到32%；若排除當季異常偏多的一次性項目，主要是對歐盟的罰款，成長率是從28%到35%。「在這個規模上，這是很實質的加速。而且這還是在 Rubin 開始上線之前，Rubin 會帶著明顯的溢價，也還在這些合約重新定價之前。」 #開源模型崛起：token就是token 市場把開源模型佔比上升視為利空，Gavin Baker 不同意這個推論。 Silicon Data的token指數捕捉到的是mix的變化。隨著 GLM 5.2 和 Kimi 進來，資料裡出現了從高價的frontier token轉向開源token的組合位移，前者的inference毛利可能是八成、九成或九成五。 「但現實是，token就是token，你需要完全一樣的算力來產生一個token。在其他條件相同下，它需要一樣的flops、一樣的記憶體、一樣的瓦數。」他說，開源拿走市占率，效果是把毛利從frontier模型那一層抽走，並因為彈性而推升token需求。「Anthropic和開源都跑在同樣的底層雲端供應商上，他們收一樣的算力費用。所以你只是把毛利從frontier模型移走，實際上是把更多毛利推進AI基礎設施那一層。」 他也提到 Jensen Huang 是全世界最大的開源支持者。「他是個非常理想主義的人，是個愛國的美國人，我認為他總是做對的事。但如果開源對他的生意不好，Jensen 會成為全世界最大的開源支持者，這說得通嗎？」 Gavin Baker 補充，開源本身也很重要：「在一個只有一兩個主導性frontier模型、收九成毛利的世界，那對人類不好，對社會可能也不好。」 #信貸利差擴大，但這筆帳可能不需要靠負債 七月真正有份量的利空是信用市場。實質殖利率上升、利差擴大，Meta 上週定價的一檔債券，定價水準不像大家預期中 Meta 該有的水準，各家的CDS也在走擴。 「這些是無法否認的事實。CDS上升、利差擴大、實質殖利率上升。如果我們需要負債來融資這一輪建置，那真的會非常非常可怕。」 也因此，現貨與合約定價之間的落差才變得關鍵。他說，如果去看預計上線的GW數與hyperscaler的市場共識預估，這些是 Blackwell 和 Rubin 的GW，「但它們基本上是被以 Ampere 的變現速率來model的，落後兩個世代，不是 Hopper，是 Ampere。」 在這個假設下，hyperscaler的營運現金流是1.3兆到1.4兆美元。「如果只是假設它們以低於目前 Blackwell 的水準變現，那營運現金流就比較像2兆美元，這樣就把大約7000億美元的信貸需求拿掉了。」 他也指出這裡有一個反身性：隨著已安裝算力重新定價、營運現金流持續加速，信用指標會變好，用信貸融資反而變得更容易。至於他們會不會選擇這麼做，那是另一回事。 而如果信貸真的不到位，「那只代表已經存在的flops會更值錢。」 #記憶體LTA的賽局：毀約的代價 Gavin Baker 認為市場上一個他自己也判斷錯的轉變，是記憶體正在從短期衝高數字，轉向用短期上檔空間換取長期供應鏈協議，也就是LTA。形式很多，通常是客戶預付，並設有價格上下限。 他用賽局理論來解釋為什麼這些合約會被遵守。規模上真正重要的買家有四家：Amazon的Trainium、Google的TPU、AMD，以及比其他所有人加起來還大得多的 Nvidia。 「必須理解一件事：在給定的算力單位下，你搭配愈多記憶體，你就能產出愈多token。這是提升每單位算力token產出最重要的單一手段。」他說，這也定義性地降低了成本，這正是需求完全沒有出現負面反應的原因，因為這是壓過所有其他軸線的那條軸。 「假設是2027或2028年，你有點想毀約，想拿到更低的價格。但未來幾年市占率很大程度上會由供應鏈配額、由你預先買了什麼來決定。如果你毀約，然後未來兩三年因為任何原因議價權回到記憶體廠手上，你就完蛋了，遊戲結束。」 他假設 Google 在28、29年毀約，那大概意味著供給過剩、價格下跌，接著產能自然收縮。「你覺得 Google 的配額會怎麼樣？而且這是個景氣循環產業，供給過剩之後就是供給不足。你覺得他們會怎麼看待下一輪自己的配額？」 他指出這和過去不同。以前 Apple 沒有競爭者，是壓倒性最大的買家，量大到即使翻臉，SK hynix 和 Micron 當然還是會接。「現在不一樣了，你至少有四個玩家，還有一堆新創。如果你毀了價格協議，他們可以說：好啊，那我們就毀掉數量協議，把量給你的競爭對手。你就這樣失去市占率。」 #Nvidia的新玩法：credit wrapper加營收分潤 在這個環境下，Gavin Baker 說他有點難理解 Nvidia 為什麼交易在這麼低的倍數。 「如果你需要能夠為晶片取得融資，而你確實需要，那沒有什麼比 Nvidia 的GPU更好融資的，沒有。如果你需要土地和電力，他們在這場棋局的媒合上做得非常好。」 他描述 Nvidia 推出的新商業模式是一種credit wrapper，搭配GPU價格高於某個下限時的營收分潤。「這可能讓他們很快就透過權利金實質擁有一個巨大的雲端業務，同時也緩解現金流錯配的問題。」 他也釐清這不算vendor financing：「因為錢不是他們借的，是別人借給GPU買家。他們仍然是做股權投資。」他提到 Nvidia 表示會在股權投資中寫明資金不得用於購買 Nvidia 晶片，「但顯然錢是可替代的。」 被問到如果他是 SK hynix 的執行長會怎麼做，他的答案是照抄 Nvidia。「我會去找GPU、Trainium 這些的買家，說我要參與 Nvidia 的credit wrapper。」他推測 Blackstone、Apollo 那些人一定也在對記憶體廠提出類似的變形：先從今天的現金流拿出一筆錢，讓放款方安心，但要換取後續營收的分潤。 「這幾乎是LTA的邏輯延伸，他們用上檔空間換取穩定性。而這正是 Nvidia 在做的事，我認為這件事被嚴重誤解了。」 他認為 Nvidia 應該好好解釋這件事，並指出 Jensen Huang 看得到每個實驗室、知道所有進展，包括那些做continual learning的實驗室，Safe Superintelligence 現在也跟他們合作。「他看到的一切讓他看多。所以一邊有股權上檔，一邊有營收分潤，同時產出數千億美元的自由現金流，去銜接這個明顯存在的缺口。」 他也提到這強化了 Nvidia 的競爭位置：新創的晶片在台積電付的價格比 Nvidia 高，HBM DRAM付的價格也更高，而且無法用同樣的利率輕鬆融資。 回到賽局，他提到 Anthropic：「如果他們在算力上像 OpenAI 那樣激進，他們早就跑掉了。」現在 OpenAI 回到賽局，Grok 也在賽局裡，這些是在pareto frontier上而且有算力的公司。 「大概四個月前 Dario 談到這件事，那是很有想法的評論。他說這真的非常難，因為在這種規模下，如果你買太多算力可能會破產，但如果你買得不夠，你可能會輸。結果我們看到發生什麼事了。從賽局理論的角度，看完這一切之後，還有人會很快鬆油門嗎？特別是如果這可以用營運現金流來支應。」 #中國的DUV：相變，但仍是learning by doing 對於中國DUV機台的消息，Gavin Baker 認為兩種極端解讀可能都成立。 「打個比方，DUV機台像螺旋槳飛機，EUV像噴射引擎。他們以前沒有，現在據稱有了，這是一種相變，就像從液態變成固態。這個東西落後25年，但仍然重要，不該被輕視。」 他同時認為市場反應過度：「就算這件事真的影響到 ASML 的訂單，可能也是五年後，而市場在這期間已經忘記它、擔心它、又忘記它、又擔心它好幾輪了。」 也有一些報導提到有EUV機台被走私進中國。「如果是真的，那真是諜報上的壯舉，因為那些東西超級巨大。」 至於中國能不能從2001年跳到2026年，他的判斷是這終究是learning by doing。「你不能加速那個做的過程，你不能瞬間移動到未來，你真的必須走過那些學習循環。」 「對美國人來說，要真正理解中國正在發生什麼、還要有完全的信心與清晰度，是非常困難的。不管好壞，我們正在脫鉤，這個過程已經啟動，而現在幾乎感覺是雙方各自自我強化。他們不會停，我們也不會。」 #開源、inference cloud與AI原生公司的防禦力 Gavin Baker 認為未來是multi-model的。特別是AI原生公司，會傾向拿一個開源模型，利用inference cloud已經做得很好的supervised fine-tuning和reinforcement learning，用自己的資料客製化，然後放在router後面。 「router通常先送到你自己的模型，然後是 Claude、frontier模型之類的去檢查，很多情況下你能用一半的成本得到略好的結果。」 他強調很多人聽到一半的成本就認為對AI需求不好，「其實完全不是。使用者付的成本是token毛利的函數。你只是把token從毛利九成的昂貴token，轉移到毛利大概三成的token，省下來的錢是從那裡來的，但產出這些token所需的算力是一樣的。」 他描述現在同時存在好幾波不同節奏的採用曲線。大型上市公司發現AI支出暴增20倍、三個月燒完預算，於是架起router，結果支出下降，但實際產生的token數量可能反而增加，「所以一家公司變得更聰明地選擇用哪個模型做哪個任務，可能讓支出穩定甚至下降，但這跟他們在那些模型層底下消耗的GPU算力小時數完全沒有關係。GPU算力小時數很可能是往上的。」 同時另一邊是AI原生公司，「他們非常用力地押注這件事，他們不聘人，幾乎都投進token裡，所以他們不會慢下來。」再來是美國東岸幾乎還沒導入AI的公司、沿海以外可能還在砍成本的公司，以及還在想怎麼監管AI的歐洲。 他提到 Fireworks 推出的產品 Nexus：如果你在用 Claude Code、OpenAI Codex 或 Grok Build，設定只要三行程式碼、大概二十個字，Fireworks 就會吃進你的資料、對模型做RL，再由router分派查詢。 「這是每個AI原生公司的解法。所以你看到 Harvey 在被收購前、Cursor、Lora 都這麼重壓這件事。因為如果你能從只用一兩三個frontier模型，變成在三成到六成的token消耗上使用最適合的模型，再加上自己的RL模型，你突然就不是一個wrapper了，你的防禦力強太多。」 他也提到 Cursor 公布的做法，用frontier模型規劃、再把任務外包給比較笨的模型，效率是15倍。 至於有人認為frontier模型一旦達到RSI，就能透過蒸餾在每個智慧水準上大幅降低服務成本，讓開源沒有立足之地，他說那是 Anthropic、OpenAI、Grok 極大化論者的觀點。「我不知道，這很重要，任何事都有可能，我們要非常謙卑，特別是在我過的這一個月之後。但那看起來沒那麼可能。」 他的理由之一是，有很多AI原生公司已經累積了相當數量的領域專屬專有資料。在開源與這些inference cloud、router成熟之前，「你基本上沒有選擇，服務條款是什麼你就接受什麼。現在你可以下那台跑步機，那給了你一定程度的獨立性、也許還有續航力和安全感。」 理由之二回到token的相對價值：「如果今天你有120 IQ的開源模型，而且跑起來很便宜，那不就讓一個能夠指揮它們的160 IQ模型更有價值嗎？」 他補充，這也改變了他過去的觀察，「我一直很驚訝那麼多經濟報酬都歸給了frontier。現在隨著 Together、Modal、Baseten 這些inference cloud出現，情況正在改變，而且是用非常節省現金的方式。這些商業模式驚人的地方在於，它們成長速度幾乎跟早期的frontier實驗室一樣快，但燒的現金非常少。」 #token支出佔薪酬比重 被問到投資組合公司的token支出相對於人力支出的比例，Gavin Baker 說最投入的公司會拉到20%、25%。SemiAnalysis 的 Dylan Patel 是30%，他還聽過50%。 「知識工作有25兆美元的規模。就用20%這個數字，那是5兆美元。這筆錢要嘛來自勞動替代，要嘛來自更快的經濟成長，而我們身為人類，真的非常非常希望它來自更快的經濟成長。」 他提到在AI原生公司確實看到勞動替代，「但不是因為他們裁員，而是他們聘的人少太多了。每個FTE貢獻的毛利金額，相對於過去世代的新創是垂直上升的。」 他也引述當天早上一位連續創業的科技CEO的說法：如果看創辦人控制的公司，並排除COVID時期的過度招聘，其實沒什麼人真的在裁員。「這些人大概是最會快速採用AI來提升效率的人，但他們沒有在做大規模裁員，這大概說明了他們認為還有很多機會需要人。」 多頭情境是成長而非裁員。「你看過 Cognition、Ramp、Stripe 的圖，AI支出最多的公司成長明顯更快。」他也提到懷疑者會正確地指出這些數據沒有控制產業變數。 #最大的風險是法規與說故事的能力 被問到AI最糟的情況會是什麼，Gavin Baker 的回答很直接：「法規一定是最大的風險，這是最明顯的風險。」 「我想要被嚇到。我不想覺得自己像個瘋子，看著這些股票變得更便宜、覺得預期的未來報酬正在上升，而地面上的基本面感覺在七月相對六月還實質改善了。但我離開時還是覺得，法規就是最大的風險，你不能忽視 New York 對資料中心下暫停令。」 他認為AI產業在公關上做得非常糟，「而且我認為它現在至少意識到了這一點，就算還沒修正。」 他描述在華府和一般美國人之間流傳的敘事是：資料中心會拉高你的電費、會用光你的水，然後會搶走你的工作。 「現實是，以現在在談的條件，一個資料中心進駐時，因為behind the meter的協議，周邊所有人的電價通常反而會下降。」他說，以前開發商大概就是幫警局和消防隊添購新車輛裝備，「現在變成：我們要幫你蓋醫院、學校、新的警察局和消防局，還要降低你的電費，你覺得怎麼樣？」 他強調藍領工作是持續性的：「因為你會需要水電工、電工、HVAC承包商。資料中心在很多方面是我這輩子見過對藍領薪資最好的事。」他也指出，很多人以為這些是一次性的工作，「當然會有一個高峰然後移到下一個資料中心，但這些資料中心持續需要RMA和升級，而且技術一直在變。」 關於水的爭議，他提到一本書的作者高估了資料中心的用水量一萬倍。「不是一點點，不是一個數量級，不是兩個，不是三個。而且她已經多次承認那個錯誤，說我完全錯了。」他把這個現象類比成大力水手效應：一本學術著作把小數點放錯兩位，導致大家至今仍相信菠菜的含鐵量比其他東西都高。 他認為產業需要主動說自己的故事，包括AI在醫療上的進展。「我記得應該是今年的ASCO，那裡的氛圍是：這是我們在單一場會議上見過最多的科學突破，而其中肯定有一部分要歸功於AI。如果你有生病的小孩、生病的父母、生病的摯愛，AI實質提高了他們康復的機率。」 「這裡的人覺得這一切太過顯而易見，所以他們假設其他人都已經知道了。他們無法消化這是一個真實但與大多數美國人嚴重分歧的觀點。」 「New York 感覺只是第一個，後面還會有很多。就算是那些超級支持成長的深紅州也在說：你們的故事講得不夠好。如果你不講你自己的故事，我們沒辦法幫你講；你講了，我們可以幫你轉述，但你們才是專家。」 #SRAM加速器與disaggregated inference Gavin Baker 認為現在關於算力的討論漏掉一件事：當那些不受HBM DRAM限制、而且常常用比較舊的製程生產的SRAM based加速器進來時，會發生什麼事。這些晶片並不跟最新最強的GPU競爭產能。 他描述disaggregated inference的架構：一般談prefill和decode，但decode又分成attention和feed forward network兩部分。「終極的聖杯是，你可以在一顆大概沒有HBM DRAM的晶片上做prefill，在一顆有HBM DRAM、記憶體頻寬超高的晶片上做attention，然後在一顆SRAM晶片上做feed forward network。」 「我們看到的是這樣做效果更好。特別是feed forward network，你就是贏不了SRAM。而且不管你多努力想把晶片上算力、HBM DRAM、SRAM的比例調對，workload一直在變，而且有各種不同的workload。能夠拆解成這三個部分，我認為這對AI的ROI會非常非常正面。」 #SpaceX：被公開市場低估的算力玩家 被問到公開市場如何消化 SpaceX 這家公司，Gavin Baker 的看法是市場還沒真正理解。 「自從IPO以來基本面反而更好了：Grok 4.5、Cursor 的收購，Cursor 明顯加速。而且他們過去三年已經證明，他們能比任何人更快、用更低的價格帶進更多算力。」 他指出，即使把現貨與合約的落差調整進去，SpaceX 的優勢在於他們直接進場承接現貨高點。「而且有一件對算力來說更偏多的事：他們一夜之間把大量算力投進市場，結果連一個雜訊都沒有。市場就是完全吸收掉了，那列貨運火車完全沒有減速。」 關於一份公開的報告推測 SpaceX 要在18個月內帶進8GW算力，他的態度是保留的。「我永遠不會賭 Elon 輸，但那會是真正不可思議的成就。而且他們簽那些合約之後，利率是上升不是下降。」 他把數字攤開：SpaceX 目前的變現水準大約是每GW 500億美元，明年的市場共識預估是730億美元。「所以先不管 Starlink V3、不管 Starlink Direct to Cell，Grok 4.5 加 Cursor 的總和大概很快就會到100億美元ARR。這些都先不算，連核心的 Starlink 業務都先不算。共識預估是730億美元，而8GW乘以每GW 500億美元，顯然也不可能在2027年初全部點亮。所以我幾乎不相信那份報告。」 他也提到一個門檻數字：至今一年內帶進超過500MW電力的公司只有hyperscaler、CoreWeave、Crusoe 和 SpaceX，而 SpaceX 是最快而且成本最低的，客戶也真的喜歡他們的cluster。 「但市場需要看到才會信。這絕對不是市場今天對 SpaceX 的解讀。」他提到有一家紐約大型避險基金在做空這個題材，論點是算力現貨價會跌九成，而帶進來的算力產生的營收會遠低於預期。「也許吧。但我也想講清楚，我這些年看過 Elon 的公司做出很多令人印象深刻的事。Elon 有一句話是：我們專門把不可能的事做成遲到的事。」 至於軌道運算，Gavin Baker 說他在 Starbase 待了不少時間，「orbital compute每天都感覺更真實。」他提到 Benchmark 投資了 StarCloud，一家與 SpaceX 合作的軌道運算公司，SpaceX 可能會讓他們使用對軌道運算非常重要的 Starlink 雷射技術。 「這是一個不錯的sanity check。Benchmark 那群人很聰明，而且他們完全不是來自 Elon 的生態系，他們選擇在一個相當的估值投資一家軌道運算公司，而且沒有 SpaceX 那種內部發射成本。所以也許我瘋了，也許 Elon 瘋了，也許 Benchmark 也瘋了，也許 SpaceX 的工程師也都瘋了。那對我來說不太可能。」 #持續學習是最值得關注的變數 被問到在矽谷聽到最有趣的技術主題，Gavin Baker 提到continual learning和sample efficient learning。 「這裡很多人似乎覺得他們非常接近解決continual learning和sample efficient learning。如果那些被解決了，有沒有可能造成需求上暫時的不連續？」 他舉了一個對比：有人告訴他，人類實質上是用大約200億個token訓練出來的，而這些模型是用300兆個token訓練的。「如果你可以用10兆個token訓練某個東西，然後把它放到世界上讓它以sample efficient的方式學習，那聽起來對訓練需求不太好。但訓練佔半導體算力需求的比例，本來就會逐漸收斂到一個不是零、但很小的數字。」 「這會是對世界很好的事，講清楚一點，這對世界會超棒。我很難相信那實際上會對AI基礎設施需求不利，但我還是努力想保持非常非常開放的心態。」 他提到 SSI 表示會在八月推出他們的模型，而現在有一整個世代的新實驗室專注在這個方向，而 Nvidia 深度參與其中所有的新創。 被問到什麼情況會讓他真的害怕，他的答案是營運現金流沒有持續加速，那就必須靠舉債。「這某種程度上會是 Anthropic、OpenAI、Grok、Cursor 和開源表現的函數。如果GPU價格出現相當劇烈而且持續的收縮，市場會立刻反應，那會令人擔憂；如果拿到GPU開始變得非常容易，那也是。」 「你有聽過任何人說他們GPU太多嗎？」他說，「一個都沒有，事實上是相反的。」