AI 이용한 해킹 (당분간) 일상이 될 것 온라인 생활 습관 재조정해야 (아래 원문 발췌) 웹사이트의 70%가 사용하는 프로그래밍 언어인 PHP에 두 가지 중대한 취약점이 있다는 소식이 전해지자, 전 세계 정부, 병원, 기업들은 예방 조치로 디지털 서비스를 중단했다. 이미 이 취약점을 악용하려는 시도가 수백만 건 있었다. PHP 취약점은 연이은 사고의 한 사례에 불과하다. 넷플릭스 페이팔 월마트 등 유명 기업들이 사용하는 소프트웨어 포함, 여러 주요 소프트웨어 제품과 플랫폼의 보안 결함 또는 해킹 성공 사례가 같은 날 발표됐다. 어제, 매년 미국 성인의 3분의 1을 대상으로 실험실 검사를 수행하는 퀘스트 다이아그노스틱스도 해킹 피해를 입었다. 이 일련의 사건들이 내년이 되면 흔한 일로 기억될 수도 있다. 충분한 검토나 감수 없이 작성된 소프트웨어에는 수십 년에 걸쳐 쌓인 버그들이 산적해 있는데, 숙련된 해커가 극소수였던 시절엔 별문제 없었다. 지난 20년 기업, 정부, 개인들은 허위의 안전감에 빠져 있었다. 사람들은 동네 식당이나 선물 가게 웹사이트에 신용카드 번호를 입력하거나, 고객 설문조사에서 주소와 전화번호를 제공하는 데 별 의구심을 갖지 않았다. 하지만 사실 인터넷은 헛점 투성이었다. 이제 그 환상에서 깨어나는 중이다. AI 에이전트는 저렴하고 거의 무한한 해커 군단으로 활용될 수 있다. 불과 지난 몇 달 새 무료로 제한 없이 사용할 수 있는 오픈소스 모델들이 취약점을 찾아내고 공격을 자동화하는 데 매우 능숙해졌다. 그 결과 악의적 사이버 활동이 급증했다. 더 많은 웹사이트가 훼손되고, 더 많은 개인정보가 도난당하며, 랜섬웨어가 확산될 테다. 문제를 해결하려면 사실상 모든 분야의 신속하고 막대한 협력이 필요하다. 일부 보안 전문가들은 낙관한다. 결국 AI가 주요 사이버 보안 결함의 상당수를 찾아내 해결하는 데 활용될 것이며, 인터넷은 전반적으로 훨씬 더 안전해질 거라며. 하지만 그 전까지는 끔찍한 진퇴양난의 상황에 갇혀 있을지도 모른다. 그 와중에도 이 기술은 수많은 새로운 문제를 야기하고 있다. 모든 음성 인식 앱에는 보안 결함이 있을 가능성이 매우 높다. 또한 디지털 보안에 경계를 늦추지 말아야 할 시점에 AI 비서가 퍼지고 있다. 에이전트에 신용카드 사용의 무제한 권한을 부여하고 있다. 인터넷 공간에 무질서가 커짐에 따라, 필요하지 않은 서비스는 인터넷에서 철수하는 기업이 더 늘어날 테고, 공격 대상이 되지 않도록 오래된 웹페이지와 양식을 비활성화할 게다. 개인들도 데이터에 접근할 수 있는 소프트웨어 수를 줄이는 게 좋다.이제 거래 기업을 더 신중하게 가려내야 한다. 언젠가 존재하는 모든 사이버 보안 취약점을 찾아내 보완한다면, 다시 개인 정보를 안심하고 공유할 수 있는, 더 개방적인 웹이 탄생할 수도 있다. 하지만 또 다른 가능성은 훨씬 더 중앙 집중화된 인터넷으로, 거대 소프트웨어 제공업체가 개발한 서비스와 웹사이트만 신뢰할 수 있고 안정적이라고 여겨지는 세상일 수도 있다. AI 기반 공격을 방어하기 위한 새로운 장벽이 필요하지만 그 대가로 우리는 그 벽에 갇히는 신세가 될 수도 있다. theatlantic.com/technology/2…

AI 해킹 재앙은 '정렬' 문제 실패에서 비롯 처음부터 지금껏 해법 모른 채 성능 강화 심층 문제는 경쟁 가속화 경제 구조 (아래 원문 발췌) OpenAI 개발자들은 2022년 여름 “현재 정렬 문제에 대해 무한 확장 가능한 해결책은 알려진 게 없다”면서 이를 개발하는 것은 “매우 어려울 것”이라고 블로그에 글을 올렸다. 4년이 지난 지금도 이 문제는 해결되지 않았다. 문제가 정확히 뭔지에 대한 합의조차 이뤄지지 않았다. 이제 AI봇들은 주권 국가들을 ‘자율적’으로 해킹하고 있지만, 오픈AI와 앤트로픽은 여전히 ‘정렬된’ AI 모델이 어떤 모습인지 설명하지 못하고 있다. 지금 모습이 아닌 건 분명하다. 세계에서 가장 영향력 있는 AI 경영진과 투자자들은 이 기술의 본질에 대해 근본적으로 의견이 엇갈리고 있다. 한쪽에선 앤트로픽의 아모데이가 AI 발전이 머지않아 “이 시스템을 이해하고 통제하는 우리의 능력을 앞지를 것”이라고 말했다. 해결책은 “우리의 정렬 훈련이 따라잡을 수 있도록” AI 발전 속도를 늦추자는 것이다. 반대편엔 엔비디아의 젠슨 황이 있다. 그는 정렬 불일치에 대한 우려는 “과학적 근거가 없다”며 AI 모델은 일련의 코드일 뿐이기에 얼마든지 디버깅할 수 있다고 말한다. 정렬이 문제가 되는 것은 선도적인 AI 기업들이 예측 불가능한 방식으로 행동할 강력한 시스템을 구상했기 때문이다. 안전성 확보는 근본적인 관심사였고 ‘가치 정렬’은 이를 위한 아이디어다. AI 모델이 코딩과 시 쓰기를 배울 수 있다면, 인간의 가치관도 배울 수 있을 거라고 생각한 것이다. 앤트로픽과 오픈AI는 각각 ‘클로드 헌장Constitution’과 ‘모델 사양서Model Spec’라는 방대한 문서를 통해 이런 가치관을 명시하고, 모델 훈련에 활용하고 있다. 무엇이 도덕 규범을 구성하는지에 대해서는 수천 년 동안 이견이 있어 왔다. 이 문제는 대단히 복잡하고 아직도 해결되지 않은 과학적·철학적 문제다. 그럼에도 일부 개발자들은 직관적인 최소 기준을 제안해 왔다. 가령, 2021년 앤트로픽 연구원들은 논문에서 AI 시스템은 “도움이 되고, 정직하며, 해를 끼치지 않아야 한다”고 썼다. 이런 원칙에 따른 모델 훈련은 얼마간 효과가 있었던 것으로 보인다. 가령, 챗GPT의 기반 모델은 초기에 무의미하거나 유해한 발언을 내뱉는 경향이 있었지만 OpenAI는 수많은 인간의 피드백을 바탕으로 모델을 미세 조정해 이 문제들을 해결하려 했다. 그러나 몇 년 후 봇은 사람들의 정신 건강 위기를 악화시켜 자살로 이어지게 만드는 일이 벌어졌다. 오픈AI는 다시 문제 해결을 위해 노력했다. 이제는 AI 기업 내부와 비평가들 사이에서도 ‘정렬 맞추기’ 접근법에 의문이 제기되고 있다. 오픈AI 안전 연구원 출신 애덤 칼라이는 “모델을 훈련하는 동안 정렬 불일치를 관찰하고, 이를 정렬하기 위해 조정을 가하지만 지속적인 안전을 달성하는 방법이 아니다”라고 했다. “근본적으로 우리는 정렬을 어떻게 해야 할지 전혀 모른다. 누군가가 모든 것을 정확히 어떻게 해야 하는지 설명한 천 쪽 분량의 문서를 가져온대도 우리는 모델이 정확히 그 내용을 학습하도록 만들 수 없을 것이다.” 사실은 2022년 당시에도 오픈AI는 인간이 기계와 가치 정렬을 이루는 지속적인 방법을 찾아낼 수 있다고 생각하지 않았다. 그저 AI 자체가 해결책을 제시해, 인간이 “정렬 연구에 필요한 인지적 노동을 거의 모두 덜어낼” 수 있기를 희망한다고 했었다. 다시 말해, 최상의 시나리오조차도 인간이 진행 상황을 제한적으로만 이해하는 것을 전제로 한 것이었다. 정렬 불가능에는 다른 이유도 있다. 가령, ‘도덕적 가치’에 할당된 훈련 데이터의 양은 상대적으로 적어 보이는 반면, 모델들은 웹에서 온갖 추악하고 불법적인 것들을 학습했으며, 이후 어떤 수단을 써서라도 목표를 추구하도록 지시받는다. 최근 일련의 해킹 사건들은 정렬 접근 방식이 실패했음을 시사한다. AI 기업들이 챗봇과의 일대일 상호작용을 비교적 안전하게 만드는 방법을 찾아냈다고는 해도, 수많은 에이전트는 오랜 기간 상호작용할 경우 기존의 안전 장치가 무력화되는 것으로 보인다. 에이전트의 능력이 향상됨에 따라, 이들은 자신의 흔적을 지우고 잘못된 행동에 대해 거짓말을 하거나, 인간이 이해할 수 없는 암호화된 방식으로 소통하며, 인간에 의해 중단되는 것을 피하려는 경향을 보이기도 한다. 오픈AI 수석 과학자인 야쿠브 파초키는 정렬 문제를 해결하지 못한 채 계속 전진할 수는 없다고 했다. 업계는 ‘프론티어 속도 조절’이라는 다소 이상주의적인 새로운 구호를 중심으로 뭉쳤다. 그러나 엔비디아 황이 이끄는 반대 진영은 가치 정렬 따위가 터무니없다고 본다. 그에게 모든 AI 사고 예방이란 ‘엔지니어링’이다. 만약 AI 개발자들이 스스로 문제를 해결할 수 없다면, “엔지니어를 보유한 여러 기업들이 엔지니어를 파견해야 한다”고 그는 최근 말했다. 그로선 AI에 대한 우려를 축소할 충분한 동기가 있다. 업계 전반의 경기 침체는 자신의 발목을 잡을 것이기 때문이다. 어떤 AI 안전 비전을 지지하든 적어도 한 가지 분명한 공통점이 있다. 업계가 제품의 안전성을 충분히 보장하기에는 너무 빨리 움직이고 있다는 점이다. 공개적으로 무슨 말을 하든, 두 CEO와 경쟁사들은 계속해서 질주하고 있다. 엔비디아는 시가총액 사상 최대 기업이고, 앤트로픽은 사상 최대 IPO 추진 중이다. 주요 기업들은 쉴 새 없이 새 모델을 출시하고 있다. 속도가 느려지면 필연적으로 수익에 영향이 가기 때문이다. 지금 가장 위험한 정렬 문제는 기술적이거나 문화적인 문제가 아니라 경제적 문제일지 모른다. theatlantic.com/technology/2…

이제 [군주]적 지도자들은 더 이상 존재하지 않았다. 지금부터는 정치가 점진적으로 더 민주화될 것이며 더 아마추어들의 손에 내맡겨질 것이었다. — 토머스 핀천 짓고 설순봉 옮긴 『브이』(민음사, 2020) 790쪽.