AMA: 2025년과 그 이후의 AI
이번 AMA에서는 사하라 AI의 CEO이자 공동 창립자인 숀 렌과 앤트로픽의 로한 타오리가 올해 가장 큰 AI 돌파구를 되돌아보고 2025년 산업이 나아갈 방향에 대한 생각을 나눕니다. 떠오르는 트렌드부터 AI 에이전트의 미래까지, 그들은 다음에 무엇이 기다리고 있는지, 그것이 AI 환경에 의미하는 바를 분석합니다.
전체 녹음 링크: https://x.com/i/spaces/1yNGagBaPZVxj
줄레스 바라간 (04:11)
안녕하세요, 여러분! 우리의 첫 번째 AMA인 "2025년과 그 이후의 AI."에 오신 것을 환영합니다. 저는 사하라 AI의 마케팅팀 줄레스이며, 오늘의 진행을 맡게 되어 기쁩니다. 두 명의 놀라운 게스트를 모시게 되어 매우 기쁩니다:
숀 렌 – 사하라 AI의 CEO이자 공동 창립자입니다. 그는 또한 미국 남부 캘리포니아 대학교의 컴퓨터 과학 부교수이며, 지능 및 지식 발견 연구소를 이끌고 있습니다.
로한 타오리 – 앤트로픽의 기술 직원입니다. 앤트로픽을 들어본 적이 없다면, 그들은 매우 유명한 클로드 AI를 만든 선두적인 AI 안전 및 연구 조직입니다. 그는 또한 스탠포드 AI 연구소에서 박사 학위를 보유하고 있습니다.
환영합니다, 숀과 로한!
숀 렌 (05:10)
여기에 와서 기쁩니다.
로한 타오리 (05:12)
네, 주최해 주셔서 감사합니다, 줄레스. 여기 있어서 행복합니다.
줄레스 바라간 (05:15)
두 분 모두 참석해 주셔서 감사합니다! 우리는 흥미로운 일정을 가지고 있습니다: 올해의 AI 돌파구에 대해 이야기하고, “훌륭한 AI”의 정의와 미래에 대한 예측을 나눌 것입니다. 본격적으로 시작하기 전에, 간단한 알림: 독점적인 기념품, 다음 이벤트에 대한 초대 (plus one 포함), 데이터 서비스 플랫폼 시즌 1의 화이트리스트 스팟 3개를 드릴 예정입니다. AMA 동안 채팅에서 사려 깊은 질문을 하시면 당첨자를 선정해 결말에 발표할 것입니다. 우리는 X(구 트위터)에서 당첨자를 발표할 것입니다.
숀과 로한에게 간단한 질문으로 시작해 볼까요: 올해 특히 눈에 띄었던 AI 개발은 무엇인가요?
숀 렌 (06:13)
제가 먼저 가겠습니다. 저는 구글 딥마인드에서 발표한 GenIE (Generative Interactive Environments의 약자)라는 것에 정말 신이 나 있습니다. 역사적으로 AI 에이전트를 위한 시뮬레이션 환경은 매우 수작업으로 제작되었고 정해진 규칙과 제약이 많았습니다. 하지만 생성적 상호작용 환경을 통해 무한한 가능성을 탐색할 수 있습니다. AI 에이전트가 탐험할 수 있는 다양한 유형의 게임이나 시나리오를 상상할 수 있으며, 실제 세계에서 물리적으로 가능한 것 외에도 가능합니다. 이는 AI 교육 및 평가에 대한 광범위한 기회를 열어줍니다. 더 많은 당사자들이 유사한 작업을 하기를 기대하며, 이는 AI가 테스트되고 개발되는 한계를 더욱 확장할 것입니다. 당신은 어떻게 생각하나요, 로한?
로한 타오리 (07:49)
네, 매우 흥미롭고 제가 언급할 예정이었던 내용과 밀접하게 연결되어 있습니다: 테스트 시간 컴퓨팅과 강화 학습 (RL)에 대한 전환입니다. 역사적으로 사람들은 훈련을 확장하는 데 집중해왔습니다—더 많은 데이터와 더 큰 모델에서의 사전 훈련. 그러나 RL을 위한 테스트 시간 컴퓨팅을 확장하면 해결책 공간이 확장됩니다. 더 미세한 데이터 분포, 더 다양한 환경, 원하는 작업을 할 수 있는 여러 가지 방식으로 모델을 조정할 수 있습니다. 이러한 테스트 시간 컴퓨팅에 대한 새로운 초점은 당신이 언급한 상호작용 환경과 결합되어 AI의 창의적인 공간을 더욱 확장합니다. 우리는 2025년에 이런 것들을 훨씬 더 많이 보게 될 것입니다.
줄레스 바라간 (09:11)
멋지네요! 2024년은 기념비적인 돌파구의 해였습니다. 회상해보면, 여러분은 지난 한 해 동안의 가장 중요한 AI 발전이 무엇이라고 생각하시나요?
숀 렌 (09:32)
로한이 강조한 추론 시간(또는 테스트 시간) 확장의 중요성에 동의합니다. 모두가 알다시피 사전 훈련 확장—모델에 더 많은 컴퓨팅과 데이터를 투입하는 것이 성공적이었지만, 이제 포화의 징후를 보이고 있습니다. OpenAI 및 기타 연구소에서 사람들이 이를 인지하고 있습니다. 포스트 훈련(예: 미세 조정 및 RLHF)에 대해서는 여전히 해야 할 일이 많지만, 새로운 경계는 추론 단계에 더 많은 지능과 컴퓨팅을 투입하는 것입니다.
또한 Mamba, 상태 공간 모델 및 기타와 같은 새로운, 더 효율적인 시퀀스 모델 아키텍처에 감명을 받았습니다. 이러한 모델은 훈련 및 추론에 대한 계산 요구 사항을 줄여줍니다. 이는 AI의 엔지니어링 및 인프라 측면에서 큰 것입니다.
로한 타오리 (11:07)
정확히. 보다 효율적인 아키텍처와 함께 모델 실행 비용에 대해 대규모 가격 인하가 일어났습니다—가령 추론 토큰은 10배, 100배 또는 그 이상 감소할 수 있습니다. 이는 더 많은 사람들이 이러한 모델을 배포하고 실험할 수 있도록 해 줍니다. 그리고 Llama 3.1 릴리스를 통해 점점 더 유능한 오픈 소스 모델이 등장하고 있는데, 이는 오픈 소스 커뮤니티와 취미 개발자, 애호가에게 매우 좋은 소식입니다.
숀 렌 (12:51)
네, 저도 오픈 소스 모델이 얼마나 좋아졌는지 가끔 잊습니다. 불과 1~2년 전만 해도 오픈 모델은 그렇게 제한적이었지만, 이제 Llama 3 계열과 같은 모델은 바로 사용할 수 있습니다. 개인 정보 추구, 고객 서비스, 또는 그 위에서 정보 강화 생성을 할 수 있습니다. 또한 모델 증류와 같은 기술 덕분에 일부 소형 모델은 장치에서 서비스할 수 있습니다. 이는 더 넓은 배포에 매우 중요합니다.
로한 타오리 (13:35)
2025년에는 장치 배포가 어떻게 진화하는지를 지켜보는 것이 흥미롭습니다. 사람들은 메모리 요구 사항을 줄일 방법이나 더 나은 양자화 방식을 연구하고 있습니다. 오픈 소스 커뮤니티가 그 경계를 정말 밀어붙이고 있습니다.
줄레스 바라간 (13:50)
전적으로 동의합니다. 우리가 언급하지 않은 한 가지는 분산 AI입니다. 2024년에 분산 AI는 어떤 역할을 했나요?
로한 타오리 (13:48)
흥미로운 질문입니다. 2023년에는 열린 소스 커뮤니티의 참여를 위한 큰 노력이 있었습니다—예를 들어 Llama 1 및 2를 위한 미세 조정 데이터 세트를 구축하는 것입니다. Llama 3.1과 그 강력한 즉시 미세 조정 및 RLHF로 인해 커뮤니티 주도의 지침 데이터 세트에 대한 강조가 줄어들었습니다. 공식 버전이 이미 좋아서요. 하지만 분산 AI는 데이터 세트 생성 이상의 의미를 가지고 있습니다. 모델, 데이터 및 RL 환경을 집단적으로 구축하고 공유할 수 있는 방법에 대한 것이기도 합니다. 여전히 큰 기회가 있는데, 특히 테스트 시간 스케일링과 관련해서요. 그러나 이를 위해서는 더 많은 혁신과 커뮤니티를 위한 새로운 인센티브가 필요할 것입니다.
숀 렌 (16:08)
네, 전적으로 동의합니다. 추론 시간 스케일링은 분산 AI를 더욱 매력적으로 만듭니다. 예를 들어, Llama 3과 같은 것을 기반으로 하는 것 - 즉, 상품화된 층을 체계 저장 데이터베이스, 외부 메모리 및 특정 귀납적 편향을 가진 파이프라인으로 재구성할 수 있습니다. 그 파이프라인이 수익화 가능한 요소로 발전하게 됩니다. 중소기업도 이를 수행할 수 있고, 개발자는 흥미로운 사용 사례를 생성할 수 있습니다. 그러면 큰 질문은 기본 모델 제작자가 어떻게 생계를 유지하느냐는 것입니다. 하지만 메타와 같은 회사들이 Llama를 계속 업데이트하는 한, 이는 전체 생태계에 이로운 일입니다.
줄레스 바라간 (17:59)
멋진 통찰입니다. 숀, 당신은 데이터를 잠깐 언급했습니다. 사하라 AI는 최근에 데이터 서비스 플랫폼을 출시했으며, 사하라에서는 자주 말하곤 합니다: “좋은 AI는 좋은 데이터에서 비롯된다.” 데이터 서비스 플랫폼으로 시작한 이유는 무엇이며, AI에 어떤 의미가 있나요?
숀 렌 (18:17)
모두가 데이터를 AI의 "새로운 석유"라고 알고 있지만, 그 데이터는 고품질이어야 합니다. 인터넷을 크롤링할 수는 있지만, 잡음이 많은 데이터가 나올 것입니다. 특정 분야에서 AI 앱을 구축하고자 한다면, 잘 정리되고 균형 잡힌 데이터가 필요합니다—주요 편향이 없고 불필요한 잡음이 없습니다. 그래서 데이터 서비스(수집, 정리, 레이블 지정)는 여전히 큰 산업입니다.
다음 단계는 사람들이 소중한 데이터를 공유하도록 유도하는 방법을 찾는 것입니다. 그들의 데이터가 연간 이익을 생겨야 하는 모델 교육에 사용되면 지속 가능한 수익을 보장해야 합니다. 그래서 데이터 출처를 추적하는 것이 중요해집니다—데이터 기여자가 수익성 있는 애플리케이션에서 자신의 작업의 사용으로 수익을 공유할 수 있도록 하는 것입니다.
우리는 데이터 서비스 플랫폼을 시작한 이유로, 모든 작업의 기초가 필요하다고 생각합니다. 우리는 독특한 데이터 세트와 모델 개발자가 만나는 시장을 원합니다. 나중에 자동으로 결과 모델이나 앱의 수익 공유와 같은 더 복잡한 상호작용을 허용할 수 있습니다.
로한 타오리 (21:20)
정확합니다. 2025년을 바라보면, 테스트 시간 컴퓨팅과 RL을 확장하는 데 텍스트 데이터뿐 아니라 상호작용 환경이 필요할 것입니다. 이것은 다른 종류의 “데이터”이며, 모델 조정의 새로운 측면입니다. 이러한 에이전트가 탐험할 수 있는 크라우드 소싱된 환경이나 태스크를 상상해 보세요. 같은 인센티브 메커니즘이 적용됩니다: 이러한 환경 또는 특수 데이터 세트의 기여자를 어떻게 보상할까요?
줄레스 바라간 (23:49)
훌륭합니다. 로한, 당신은 우리가 “AI 비서”에서 “AI 에이전트”로 진화했다고 언급했습니다. 2025년에 다가가면서 어떤 큰 트렌드를 보시나요?
로한 타오리 (30:17)
많은 것들을 언급했습니다: 더 많은 에이전틱 시스템, 더 많은 테스트 시간 컴퓨팅, 대규모 비용 절감. 이 트렌드들이 결합하면 AI가 더 저렴해지고, 빠르고, 스마트해지며, 더 다재다능해질 것입니다. 저는 특히 멀티모달리티에 대해 흥미롭게 생각합니다. 우리는 이미 텍스트, 이미지, 오디오 및 심지어 비디오 스트림을 수용하는 모델에서 그런 것들을 엿보았습니다(구글의 새로운 Gemini 데모와 같은). 2025년에는 멀티모달 모델—상업적이든 오픈 소스든—이 폭발적으로 증가할 것입니다. AI와 말을 할 수 있고, 여러 형태로 응답을 받을 수 있습니다. 이는 엄청난 새로운 응용 프로그램을 열어줄 것입니다. 이는 또한 더 큰 데이터 도전에 직면하게 될 것입니다. 왜냐하면 이제 우리는 텍스트, 이미지, 오디오, 비디오, 3D 데이터 등을 다루고 있기 때문입니다.
숀 렌 (32:05)
네, 저 또한 텍스트 외의 신호를 통합하는 “맥락화된” 모델에 흥미를 느낍니다—음성, 이미지, 환경 데이터 등이 포함되어 자연스러운 상호작용을 창출합니다. 예를 들어, 간단한 비디오를 녹화하고 AI에게 그가 보는 것을 관찰하거나 추론해 보라고 요청할 수 있습니다. 실제 사용 사례가 훨씬 더 매력적이고 현실적으로 됩니다. 비즈니스 측면에서 이러한 풍부한 모델이 생산성을 높일 것입니다(반복 작업 자동화, 기업 시스템 통합) 및 엔터테인먼트(게임 같은 몰입 체험). 저는 멀티모달 AI에서 어떤 완전히 새로운 “킬러 앱”이 등장할지 매우 궁금합니다. 어쨌든, 이는 기존에 존재하던 것들을 개선할 것입니다.
줄레스 바라간 (35:16)
우리는 AI가 편재해 있는 지점에 도달했습니다. 제 세대는 인터넷 원주율로 성장했고, 다음 세대는 AI 원주율로 성장할 수 있습니다. 그 시점은 얼마나 멀까요?
로한 타오리 (35:43)
생각보다 빠를 것입니다! 지금도 당신의 컴퓨터가 당신을 "이해"하지 않는 것이 이상한 일입니다. 버튼을 클릭하거나 특정 방식으로 명령어를 입력해야합니다. 몇 년 후, 아이들은 2023년이나 2024년에 우리가 컴퓨터를 사용하는 방식을 이상하게 여길 것입니다. “당신이 포토샵을 위해 모든 아이콘을 눌러야 했다는 말인가?” 그들은 “헤이, 컴퓨터, 이거 해줘”라고 말하고 그것이 이루어질 것이라고 기대할 것입니다. 이 변화는 종이 지도에서 구글 지도으로 넘어간 것만큼 큰 의의를 가질 것입니다.
숀 렌 (36:59)
네, 이는 "엔지니어링" 또는 "생산성"의 정의를 재정의할 것입니다. 지금은 프로그래밍 기술이 필요합니다. 그러나 곧, 에이전트가 단일 자연어 프롬프트로 전체 코드베이스를 작성할 수 있을 것입니다. 우리는 교육에 대한 새로운 접근 방식이 필요할 것입니다. 여전히 모두에게 Python을 가르칠까요, 아니면 사람들이 AI 시스템을 감독하고 관리하도록 훈련하는 데 중점을 두어야 할까요? 윤리, 철학, 거버넌스는 여전히 중요할 것입니다. 우리는 이러한 AI 시스템이 인간의 가치와 일치하도록 보장해야 합니다.
로한 타오리 (39:17)
흥미로운 지점입니다. 프로그래밍이 전문 기술로서 사라질까요, 아니면 학교에서 영어를 배우는 것처럼 흔한 일이 될까요? 우리는 모두가 AI를 감독하는 필수적 방법으로서 어떤 코딩 유창성을 가질 것으로 예상할 수도 있습니다. 아니면 인간으로부터 고수준의 지침만 받고 소프트웨어를 생성, 검증 및 유지하는 “메타 에이전트” 생태계를 볼 수도 있습니다.
줄레스 바라간 (41:22)
청중 질문을 받는 시간을 마련합시다. 한 질문은: "다른 AI를 생성할 수 있는 AI에게 어떤 윤리적 경계를 설정해야 할까요?"입니다.
로한 타오리 (45:20)
흥미로운 질문입니다. 여기에 최소한 두 가지 측면이 있습니다:
AI 개선 또는 새로운 AI 생성: 이는 재귀적인 자기 개선 또는 모델 증류를 의미할 수 있습니다. 우리는 새로 생성된 AI가 계속해서 정렬되고 안전하게 유지되기 위해 노력해야 합니다. 이는 각 능력 증가 후 검증 및 평가가 강력하게 요구됨을 의미합니다. AI 연구소가 이런 작업에 착수하고 있지만, 이는 특히 위험 측정이나 “탈옥” 가능성을 결정하는 데 있어 큰 도전입니다.
작업을 위해 더 많은 컴퓨팅을 생성하는 AI: 또 다른 질문은 AI가 얼마나 많은 컴퓨터 전력을 동시에 사용할 수 있는지, 또는 자율적으로 여러 에이전트를 생성할 수 있게 할 것인지입니다. 이는 또한 신중한 테스트가 필요합니다. 새로운 능력을 테스트하고 얼마나 정렬을 깨뜨리는지 확인한 다음 진행하는 반복 배포 접근 방식이 핵심이 될 것입니다.
숀 렌 (48:05)
네. 가까운 시일 내에, 오늘 우리가 사용하는 것과 같은 정렬 방법론이 AI-생성-AI 시나리오에도 적용됩니다—모델 증류, 자기 게임, 또는 다중 에이전트 정제. 이는 완전히 다른 문제는 아니지만, 그 대가가 더 높아집니다. 우리는 더욱 세밀하게 주의해야 합니다.
줄레스 바라간 (49:05)
다른 질문: "AGI를 달성하는 데 얼마나 가까운가요, 그리고 그것이 인류에게 의미하는 바는 무엇인가요?"
로한 타오리 (49:07)
말하기 어렵습니다. AGI는 사람마다 다른 의미를 가지기 때문입니다. 어떤 이는 경제적 영향을 통해 정의하고, 다른 이는 AI가 재귀적으로 자기 개선할 수 있는 능력으로 정의합니다. 하지만 전반적으로 AI의 능력은 너무 빨리 발전하고 있어 사회적 변화가 이전의 기술 물결(인터넷과 같은)보다 더 빨리 발생할 것입니다. 모든 것이 2025년에 바뀔 것이라고 생각하지 않지만, 특히 멀티모달리티와 확장된 추론에서 중요한 비약적 발전이 있을 것입니다.
숀 렌 (50:23)
네, 정의에 따라 다릅니다. 만약 매우 능력 있는 멀티모달 모델을 “AGI”라고 부른다면, 1~2년 후가 될 수 있습니다. 또는 완전히 정렬되고 스스로 개선될 수 있는 것을 원한다면, 그것은 더 오랜 시간이 걸릴 수 있습니다. 하지만 “AGI”에 대한 카운트다운이라고 하기보단 실제 세계의 정렬 및 안전에 초점을 맞추는 것이 더 생산적입니다.
줄레스 바라간 (51:23)
다음 질문: “오픈 소스 커뮤니티가 분산 AI에서 모델 미세 조정 프로세스를 개발하고 개선하는 데 어떻게 참여하도록 장려할 수 있을까요?”
숀 렌 (51:42)
대형 모델을 미세 조정하는 데는 비용이 많이 들고 계산 및 데이터가 실제 장벽이 됩니다. 한 가지 접근 방식은 새로운 인센티브를 만드는 것입니다. 예를 들어, 미세 조정을 위한 데이터를 제공하는 경우, 해당 미세 조정 모델이 상업화될 때 수익을 공유해야 합니다. 이는 기여자가 데이터를 무료로 제공하지 않도록 데이터 출처와 사용을 추적하는 플랫폼을 구축해야 함을 의미합니다. 또한 컴퓨팅의 경우, 단일 당사자에게 부담을 줄이기 위해 분산 또는 커뮤니티 주도의 클러스터가 필요할 수 있습니다.
로한 타오리 (52:33)
네. 또한 텍스트 기반의 미세 조정을 넘어 RL 및 환경 기반 조정으로 확장해야 합니다. 이는 사람들이 에이전트 행동을 형상화하는 데 도움이 되는 “미니 환경”을 구축하거나 기여하도록 허용하는 것을 의미할 수 있습니다. 그러나 가장 큰 질문은 그 뒤에 충분한 계산능력을 확보하는 방법입니다—그래서 우수한 플랫폼과 오픈 소스를 위한 자금 모델이 필요할 것입니다.
줄레스 바라간 (53:16)
마지막 청중 질문: “AI가 인간 요소와 완전히 분리되는 데 얼마나 걸릴까요?”
숀 렌 (53:16)
솔직히 말하자면, 그걸 완전히 분리해서는 안 된다고 생각합니다. 이는 매트릭스와 같은 시나리오를 초래하여 인간이 AI의 에너지 공급원이 되어버릴 수 있습니다. 나는 인간과 AI가 서로 밀접하게 통합되어 AI를 지속적으로 인간 윤리, 가치 및 감독과 일치하도록 만드는 모습이 더 좋습니다.
로한 타오리 (54:03)
네, 100% 동의합니다. 그들이 협력적으로 정렬된 상태를 유지하는 것이 중요합니다.
줄레스 바라간 (54:09)
오늘 참석해 주신 여러분 감사합니다, 그리고 숀과 로한이 통찰을 나눠 주셔서 감사합니다. 우리는 곧 X에서 경품 당첨자를 발표할 것입니다.
마지막 몇 가지 안내 사항:
X(트위터)에서 팔로우하고 Discord에 가입하는 것을 잊지 마세요.
대기자 명단에 등록하세요: 데이터 서비스 플랫폼 시즌 2가 곧 출시됩니다! 우리는 항상 대기자 명단에 먼저 알파 정보를 공유합니다.
우리는 약 2주 후에 또 다른 트위터 스페이스 AMA를 계획하고 있으니, 새해에 대비하여 기대해 주세요.
참석해 주셔서 다시 한 번 감사합니다!
