totuta

한국형 독자 파운데이션 모델(독파모) 사업을 보며 드는 생각 -- 독파모 사업이 잘했느냐 못했느냐를 평가하려는 글은 아니다. 다만 조금 다른 관점의 질문을 던져보고 싶다. (독파모 사업에 대해 여러 의견이 있지만, 개인적으로는 필요한 시도라고 생각한다.) 내 질문은 이것이다. 우리가 정말로 확보해야 하는 것은 무엇일까? 딥시크(DeepSeek)와 같은 대형 언어 모델 그 자체일까, 아니면 딥시크와 같은 결과물을 지속적으로 만들어낼 수 있는 연구 역량과 연구팀일까. 여러 자원과 노력을 투입하면 딥시크와 유사한 모델을 한 번쯤 따라잡는 데 성공할 수도 있다. 하지만 그 다음은 무엇일까? 그들이 다시 first move를 하면, 우리는 또 fast following을 반복하게 되지 않을까. 이 패턴을 우리는 이미 수십 년 동안 반복해오지 않았나. 우리의 역사가 보여주는 것은 분명하다. fast-following을 아무리 열심히 해도 first-move 역량이 저절로 생기지는 않는다. fast-following에 최적화된 조직은 결국 fast-following을 더 잘하게 될 뿐이다. 오히려 내 경험상, 그렇게 축적된 성공 경험과 관성, 사고의 틀은 새로운 first move를 상상하고 그 위험을 감내하는 데 방해가 되는 경우가 많다. 그래서 질문은 이렇게 바뀌어야 하지 않을까 싶다. “왜 우리는 딥시크 같은 모델이 없을까?”가 아니라, “왜 우리는 세계에 내놓을 만한 딥시크 같은 연구팀이 없을까?” 딥시크를 보며 느끼는 점은, 이 모델이 운 좋게 한 번 터진 결과물이 아니라는 것이다. 딥시크가 진짜 무서운 이유는 단일 모델이 아니라, first-move 혁신을 지속할 수 있는 역량을 이미 갖추고 있다는 점이다. 많은 분들이 딥시크 모델 하나만 떠올리지만, 이 분야를 연구하는 입장에서 더 인상적인 것은 딥시크가 이후에도 구글 딥마인드와 견줄 만한 수준의 혁신을 계속 만들어낼 수 있는 연구 문화와 인력, 그리고 시스템을 갖춘 조직이라는 사실이다. 딥시크뿐만 아니라, 최근 일본의 Sakana AI 역시 세계 최고 수준의 first-move 연구 혁신을 지속적으로 만들어내는 사례로 보인다. 우리가 새들을 빨리, 많이 모으기 위해 달콤한 모이를 열심히 뿌리는 동안, 우리의 경쟁자들은 더 좋은 숲을 가꾸는 데 집중하고 있다. 모이를 먹은 새들은 언젠가 날아가지만, 숲을 찾은 새들은 그곳에 둥지를 튼다. 왜 우리 인재들은 다른 나라의 숲을 찾아 떠날까. 설령 우리가 딥시크와 유사한 모델을 확보하더라도, 그 숲이 없다면 인재들은 결국 떠날 것이다. 하지만 딥시크와 같은 회사들이 많아진다면, 상황은 달라지지 않을까. 독파모 다음은 한국형 "딥시크형 지속혁신 연구회사 육성사업"을 하면 어떨까?

7. However, LLMs will become exceedingly powerful for problems that *someone* knows how to solve (in-distribution, in training data). In math research, you combine existing techniques with new creative ideas. LLMs will significantly accelerate the former part. (7/10)

#개발자 #RT #이벤트 수식 없이도 정확히 이해하는 생성형 AI 데이터 생성 기술 이미지, 음성, 비디오를 실현하는 플로의 핵심 원리 📘 생성형 AI의 구조 ➡️ search.shopping.naver.com/bo… 📌참여: 팔로우+리트윗 📌기간: ~25.4.29 추첨 📌경품: 해당 도서 1권(총 2명)