AMA: 2025년과 그 이후의 AI
2025. 1. 2.
이번 AMA에서 Sahara AI의 CEO이자 공동 창립자인 Sean Ren과 Anthropic의 Rohan Taori는 올해의 가장 큰 AI 혁신을 되돌아보고 2025년 산업이 나아갈 방향에 대한 생각을 공유합니다. 신흥 트렌드에서 AI 에이전트의 미래에 이르기까지, 그들은 다음 단계와 그것이 AI 환경에 의미하는 바를 설명합니다.
전체 녹음 링크: https://x.com/i/spaces/1yNGagBaPZVxj
Joules Barragan (04:11)
안녕하세요, 여러분! 우리의 첫 번째 AMA에 오신 것을 환영합니다, "2025년과 그 이후의 AI." 저는 Sahara AI 마케팅의 Joules이며, 오늘 여러분의 호스트가 됩니다. 멋진 두 분의 게스트가 함께해 주셔서 기쁩니다:
Sean Ren – Sahara AI의 CEO이자 공동 창립자. 그는 또한 서던 캘리포니아 대학교의 컴퓨터 과학 부교수로, 인공지능 및 지식 발견 연구실을 이끌고 있습니다.
Rohan Taori – Anthropic의 기술 직원. Anthropic에 대해 들어본 적이 없다면, 그들은 매우 유명한 Claude AI를 개발한 AI 안전 및 연구 조직입니다. 그는 또한 스탠포드 AI 연구소의 박사입니다.
Sean과 Rohan을 환영합니다!
Sean Ren (05:10)
여기 있어서 기쁩니다.
Rohan Taori (05:12)
네, 초대해 주셔서 감사합니다, Joules. 여기서 기쁩니다.
Joules Barragan (05:15)
두 분 모두 참가해 주셔서 감사합니다! 흥미로운 의제가 있습니다: 올해의 AI 혁신, "훌륭한 AI"의 정의, 그리고 미래에 대한 예측에 대해 이야기할 것입니다. 시작하기 전에, 빠른 알림: 독점 상품, 다음 이벤트 초대(1인 추가), 그리고 우리의 데이터 서비스 플랫폼의 화이트리스트 3개 자리를 제공할 예정입니다. AMA 동안 채팅에서 신중한 질문을 해주시면 우승자를 선정해 마지막에 발표하겠습니다. X(구 Twitter)에서 발표할 것입니다.
Sean과 Rohan에게 빠른 질문으로 시작해 봅시다: 올해의 AI 발전 중 가장 눈에 띄었던 것은 무엇인가요?
Sean Ren (06:13)
제가 먼저 하겠습니다. 저는 GenIE(Generative Interactive Environments의 약자)라는 것에 대해 정말 기대하고 있습니다. 이는 Google DeepMind에서 발표되었습니다. 역사적으로 AI 에이전트를 위한 시뮬레이션 환경은 매우 수작업으로 만든 것이었습니다—많은 규칙과 제약이 있었습니다. 하지만 생성적 상호작용 환경을 통해 무한한 가능성으로 들어갈 수 있습니다. AI 에이전트가 탐험할 수 있는 다양한 유형의 게임이나 시나리오를 상상할 수 있으며, 이는 실제 세계에서 물리적으로 가능하지 않은 것들까지 포함할 수 있습니다. 이는 AI 훈련과 평가에 대한 광대한 기회를 열어줍니다. 더 많은 파티들이 유사한 작업을 하기를 기대하며, 이는 AI가 테스트되고 개발되는 경계를 밀어낼 것입니다. Rohan, 어떻게 생각하시나요?
Rohan Taori (07:49)
네, 매우 흥미롭고 제가 언급하려고 했던 것과 밀접하게 연결되어 있습니다: 테스트 시간 컴퓨트 및 강화 학습(RL)로의 전환입니다. 역사적으로 사람들은 훈련을 늘리는 것—더 많은 데이터와 더 큰 모델로 사전 훈련하는 것—에 집중했지만, RL을 위한 테스트 시간 컴퓨트의 확장은 해결책을 넓힙니다. 보다 세분화된 데이터 분포, 다양한 환경, 원하는 작업을 수행하기 위한 모델 조정 방법이 많아지게 됩니다. 이러한 새로운 테스트 시간 컴퓨트에 대한 집중은 상호작용 환경에 대한 언급과 결합되어 AI의 창의적 공간을 실질적으로 확대합니다. 우리는 2025년에 더 많은 것을 보게 될 것입니다.
Joules Barragan (09:11)
멋지네요! 2024년은 중대한 혁신의 해였습니다. 돌아보면, 두 분은 지난 한 해 동안 가장 중요한 AI 진전을 무엇이라고 생각하시나요?
Sean Ren (09:32)
Rohan의 추론 시간(또는 테스트 시간) 확장성에 대한 강조에 동의합니다. 모든 사람들이 미리 훈련을 확장하는 것—더 많은 컴퓨트와 데이터를 모델에 투입하는 것—이 성공적이었다는 것을 알고 있지만, 이는 포화 상태의 징후를 보이고 있습니다. OpenAI와 다른 연구소의 사람들은 이를 인지하고 있습니다. 포스트 트레이닝(예: 파인 튜닝 및 RLHF)에서도 할 일이 더 있지만, 새로운 경계는 추론 단계에서 더 많은 지능과 컴퓨트를 밀어넣는 것입니다.
또한, Mamba, 상태 공간 모델 등과 같은 새로운 더 효율적인 시퀀스 모델 아키텍처에 감명받았습니다. 이는 훈련 및 추론을 위한 계산 요구 사항을 줄이는 데 큰 효과가 있습니다. 이는 AI의 엔지니어링 및 인프라 측면에서 큰 영향을 미칩니다.
Rohan Taori (11:07)
정확히 그렇습니다. 더 효율적인 아키텍처와 함께, 우리는 또한 모델을 실행하는 데 막대한 비용 절감을 보았습니다—추론 토큰에 대해 10배, 100배 또는 그 이상으로. 이는 더 많은 사람들이 이러한 모델을 배포하고 실험할 수 있게 합니다. 또한, Llama 3.1 출시와 같은 것이 있으므로, 점점 더 유능한 오픈 소스 모델이 생겨나고 있습니다. 이는 오픈 소스 커뮤니티, 취미가 및 장인들에게 좋은 소식입니다.
Sean Ren (12:51)
네, 가끔 오픈 소스 모델의 발전을 잊어버립니다. 1, 2년 전만 해도 오픈 모델은 상당히 제한적이었습니다. 하지만 이제 Llama 3 계열과 같은 모델은 상자에서 꺼내기만 해도 유용합니다. 개인 정보 탐색, 고객 서비스 또는 그 위에 검색 증강 생성을 수행할 수 있습니다. 모델 증류와 같은 기술 덕분에 일부 소형 모델을 장치에서 제공할 수도 있습니다. 이는 더 넓은 배포를 위해 큰 의미가 있습니다.
Rohan Taori (13:35)
2025년에 장치에서의 배포가 어떻게 발전할지 흥미롭게 지켜볼 것입니다. 사람들은 더 나은 양자화 방식과 메모리 요구 사항을 줄이는 방법을 연구하고 있습니다. 오픈 소스 커뮤니티가 realmente 그 경계를 밀어붙이고 있습니다.
Joules Barragan (13:50)
정확히 그렇습니다. 우리가 다루지 않은 한 가지는 분산 AI입니다. 2024년 분산 AI가 어떤 역할을 했나요?
Rohan Taori (13:48)
흥미로운 질문입니다. 2023년에는 오픈 소스 커뮤니티 참여를 위한 큰 압력이 있었습니다—예를 들어 Llama 1과 2를 위한 미세 조정 데이터 세트를 구축했습니다. Llama 3.1과 그 강력한 즉시 사용 가능한 미세 조정 및 RLHF 덕분에, 공식 버전이 이미 매우 좋기 때문에 커뮤니티 주도의 교육 데이터 세트에 대한 강조는 덜해졌습니다. 하지만 분산 AI는 데이터 세트 생성 이상입니다. 또한 모델, 데이터 및 RL을 위한 환경을 함께 구축하고 공유하는 방법에 관한 것입니다. 테스트 시간 스케일링과 함께 여전히 큰 기회가 있습니다. 그러나 이를 위해서는 더 많은 혁신과 아마도 커뮤니티를 위한 새로운 인센티브가 필요할 것입니다.
Sean Ren (16:08)
네, 전적으로 동의합니다. 추론 시간 스케일링은 분산 AI를 더 매력적으로 만듭니다. 예를 들어, Llama 3과 같은 것을 기초(상품층)로 삼아 개인적인 또는 독점적인 파이프라인을 그 위에 구축할 수 있습니다—특화된 시스템 프롬프트, RAG 데이터베이스 또는 특정 유도 편향이 있는 외부 메모리와 같은 것입니다. 그 파이프라인은 수익화 가능한 구성 요소가 됩니다. 소규모 또는 중간 규모 기업도 이를 할 수 있으며, 개발자는 흥미로운 사용 사례를 펼칠 수 있습니다. 그럼 큰 질문은 기초 모델의 제작자가 어떻게 자신을 지속할 수 있는가입니다. 하지만 Meta와 같은 회사가 Llama를 업데이트하는 한, 이는 전체 생태계에 이익이 됩니다.
Joules Barragan (17:59)
훌륭한 통찰입니다. Sean, 데이터에 대해 간단히 언급하셨습니다. Sahara AI는 최근 데이터 서비스 플랫폼을 출시했으며, Sahara에서는 항상 "좋은 AI는 좋은 데이터가 필요하다"고 말합니다. 우리는 데이터 서비스 플랫폼을 어떻게 시작했고, AI에 대해 어떤 의미가 있나요?
Sean Ren (18:17)
모두 알다시피 데이터는 AI의 "신유"지만 고품질 데이터여야 합니다. 인터넷을 크롤링할 수 있지만, 잡음이 있는 데이터를 얻게 됩니다. 특정 도메인에서 AI 애플리케이션을 구축하는 경우, 잘 정리된 균형 잡힌 데이터가 필요합니다—중대한 편향이 없고, 관련 없는 잡음이 없어야 합니다. 그래서 데이터 서비스(수집, 정리, 라벨링)는 여전히 막대한 산업입니다.
다음 단계는 사람들이 가치 있는 데이터를 공유하도록 동기를 부여하는 방법을 찾는 것입니다. 데이터가 모델을 훈련하거나 다듬는 데 사용되어 궁극적으로 돈을 벌 수 있는 경우, 데이터 제공자에게 지속적인 수익을 공유하도록 하기 위해서입니다. 그곳에서 데이터 출처의 추적이 중요해집니다—횡령 및 사용을 추적하여 데이터 기여자의 작업이 수익성 있는 애플리케이션에 포함되면 그들이 수익을 공유할 수 있도록 합니다.
우리는 이러한 모든 것을 위한 기초로 데이터 서비스 플랫폼에서 시작했습니다. 우리는 모델 개발자와 고유한 데이터 세트가 만나는 마켓플레이스를 원합니다. 나중에는 생성된 모델이나 앱에서 수익 공유와 같은 더 복잡한 상호작용을 허용할 수 있습니다.
Rohan Taori (21:20)
정확히 그렇습니다. 2025년을 바라보면, 테스트 시간 컴퓨트와 RL을 확장하는 데 텍스트 데이터뿐만 아니라 상호작용하는 환경도 필요합니다. 이는 또 다른 종류의 "데이터"이며 모델 조정의 새로운 측면입니다. 사람들이 이러한 에이전트가 탐험할 수 있는 크라우드소싱된 환경이나 작업을 상상해 보십시오. 동일한 인센티브 메커니즘이 적용됩니다: 이러한 환경이나 특화된 데이터 세트의 기여자를 어떻게 보상할 수 있을까요?
Joules Barragan (23:49)
좋습니다. Rohan, 당신은 우리가 "AI 어시스턴트"에서 "AI 에이전트"로 어떻게 발전해 왔는지 언급하셨습니다. 2025년으로 향하면서, 어떤 다른 큰 트렌드를 보시나요?
Rohan Taori (30:17)
우리는 이들 중 많은 것을 다루었습니다: 더 많은 에이전트 시스템, 더 많은 테스트 시간 컴퓨트, 및 큰 비용 감소. 이러한 트렌드가 결합되어 AI를 더 저렴하게, 더 빠르고, 더 똑똑하고, 더 다재다능하게 만들 것입니다. 저는 다중 모달리티에 특히 기대하고 있습니다. 우리는 이미 텍스트, 이미지, 오디오 및 심지어 비디오 스트림을 수용하는 모델에서 힌트를 보았습니다(예: Google의 새로운 Gemini 데모). 2025년에는 여러 형태로 AI와 대화하고 응답을 받을 수 있는 다중 모달 모델의 폭발이 나타날 것입니다. 이는 큰 새로운 애플리케이션을 열어줄 것입니다. 또한 데이터 문제를 더 크고 복잡하게 만들 것입니다. 이제 우리는 텍스트, 이미지, 오디오, 비디오, 3D 데이터 등 더 많은 것을 다루고 있습니다.
Sean Ren (32:05)
네, 저는 또한 텍스트를 넘어서 신호를 통합하는 "맥락화된" 모델이 더 자연스러운 상호작용을 만드는 것에 흥미롭습니다. 예를 들어, 빠른 비디오를 녹화하고 AI가 보는 것을 관찰하거나 reasoning 하도록 요청할 수 있습니다. 실제 사례는 훨씬 더 매력적이고 실질적입니다. 비즈니스 측면에서 이러한 풍부한 모델은 생산성을 높입니다(반복 작업 자동화, 기업 시스템과 통합) 및 엔터테인먼트(몰입형, 게임과 같은 경험). 다중 모달 AI에서 완전히 새로운 "킬러 앱"이 등장할지 궁금합니다. 어쨌든, 이는 기존의 것을 개선할 것입니다.
Joules Barragan (35:16)
AI가 보편적인 상황에 이른 시점에 도달했습니다. 제 세대는 인터넷 네이티브로 성장했으며, 다음 세대는 AI 네이티브로 성장할 것입니다. 이것은 얼마나 남았나요?
Rohan Taori (35:43)
생각보다 빠른 시점입니다! 지금도 여러분의 컴퓨터가 특정 방식으로 버튼을 클릭하거나 명령어를 입력해야 "이해"하지 않는 것은 이상한 일입니다. 몇 년 후에는 아이들이 2023년이나 2024년에 컴퓨터를 사용했던 방법에 대해 혼란스러워할 것입니다. 그들은 "포토샵을 위해 모든 아이콘을 눌러야 했다고?"라고 질문할 것입니다. 그들은 "헤이, 컴퓨터야, 이거 해줘"라고 말하면 그게 이루어질 것이라고 기대할 것입니다. 이 변화는 종이 지도에서 Google 지도까지의 전환만큼 컸습니다.
Sean Ren (36:59)
네, 이는 "공학" 또는 "생산성"을 재정의하게 될 것입니다. 지금은 프로그래밍 기술이 필요합니다. 그러나 곧, 에이전트는 단일 자연어 프롬프트로 전체 코드베이스를 작성할 수 있을 것입니다. 우리는 교육에 대한 새로운 사고가 필요할 것입니다. 모든 사람에게 Python을 여전히 가르치는가, 아니면 사람들이 AI 시스템을 지시하고 감독하도록 훈련하는 데 초점을 맞출 것인가? 윤리, 철학 및 거버넌스는 여전히 필수적일 것이며, 우리는 이러한 AI 시스템이 인간의 가치와 정렬되도록 보장해야 합니다.
Rohan Taori (39:17)
흥미로운 포인트입니다. 프로그래밍이 전문 기술로서 사라질까요, 아니면 학교에서 영어를 배우는 것처럼 보편화될까요? 우리는 “모든 사람"이 AI를 감독하기 위해 필수적인 방법으로 코딩 유창성을 갖춘 세상을 맞이할 수 있습니다. 아니면 우리는 인간의 고수준 지침에서만 소프트웨어를 작성하고 검증하며 유지 관리하는 "메타 에이전트"의 생태계를 볼 수도 있습니다.
Joules Barragan (41:22)
청중 질문에 대한 시간을 남겨두겠습니다. 한 질문은: "다른 AI를 생성할 수 있는 AI에 대해 어떤 윤리적 경계를 두어야 할까요?"입니다.
Rohan Taori (45:20)
흥미로운 질문입니다. 여기에 두 가지 측면이 있습니다:
AI가 새로운 AI를 개선하거나 생성하는 것: 이는 재귀적 자기 개선 또는 모델 증류를 의미할 수 있습니다. 새로 생성된 AI가 정렬되고 안전하게 유지되도록 해야 합니다. 이는 각 단계적 기능 향상 후에 막대한 안전 조치와 평가가 필요합니다. AI 연구소는 이를 연구하고 있지만, 이는 거대한 도전이 됩니다. 특히 위험이나 "탈옥" 가능성을 측정하는 방법에 대한 결정이 필요합니다.
작업을 위한 더 많은 컴퓨트를 생성하는 AI: 또 다른 질문은 AI가 동시에 사용할 수 있는 컴퓨팅 능력은 얼마인지, 또는 다수의 에이전트를 자율적으로 생성할 수 있도록 할 것인지입니다. 이것 또한 신중한 테스트가 필요합니다. 새로운 기능을 테스트하고, 정렬을 깨트리는지 확인한 다음 진행하는 반복 배포 접근 방식이 중요합니다.
Sean Ren (48:05)
네. 가까운 미래에 오늘날 사용하는 것과 동일한 정렬 방법론이 AI가 AI를 생성하는 시나리오에 적용됩니다—모델 증류, 자기 플레이 또는 다중 에이전트 개선과 같은 것입니다. 이는 완전히 별개의 문제가 아니지만, 위험 수준을 높입니다. 우리는 단지 더욱 경계를 강화해야 합니다.
Joules Barragan (49:05)
또한 질문: "우리가 AGI를 달성하는 데 얼마나 가까운가? 그리고 그것이 인류에 의미하는 바는 무엇인가?"입니다.
Rohan Taori (49:07)
AGI는 사람마다 다른 의미를 가지기 때문에 쉽게 말할 수 없습니다. 어떤 이들은 경제적 영향으로 정의하고, 다른 이들은 AI의 재귀적 자기 개선 능력으로 정의합니다. 그러나 전반적으로 AI 능력은 너무 빠르게 발전하고 있어 사회적 변화는 이전의 기술 물결(예: 인터넷)보다 빠르게 발생할 것입니다. 2025년에 모든 것이 변하지는 않겠지만, 특히 다중 모달리티와 확장된 추론에서 주요 비약을 보게 될 것입니다.
Sean Ren (50:23)
네, 이는 정의에 따라 다릅니다. 매우 능력 있는 다중 모달 모델을 "AGI"로 부른다면, 이는 1~2년 이내일 수 있습니다. 또는 완전 정렬되고 자기 개선되는 것을 의미한다면, 더 오랜 시간이 걸릴 수 있습니다. 그러나 "AGI"에 대한 카운트다운보다는 실제 세계의 정렬과 안전에 초점을 맞추는 것이 더 생산적입니다.
Joules Barragan (51:23)
다음 질문: "오픈 소스 커뮤니티가 분산 AI에서 모델 미세 조정 프로세스를 개발하고 개선하는 데 더 많이 참여하도록 하려면 어떻게 해야 할까요?"입니다.
Sean Ren (51:42)
대형 모델의 미세 조정은 비용이 많이 듭니다. 계산 및 데이터는 실제 장벽입니다. 하나의 접근 방식은 새로운 인센티브를 생성하는 것입니다. 예를 들어 미세 조정을 위해 데이터를 제공하는 경우, 미세 조정된 모델이 상업화되면 수익을 공유해야 합니다. 이는 기여자가 무료로 데이터를 제공하는 것이 아닌, 데이터 출처 및 사용을 추적하는 플랫폼을 구축하는 것을 의미합니다. 또한 컴퓨트의 경우, 어떤 단일 당사자의 부담을 줄이기 위해 분산 또는 커뮤니티 기반 클러스터가 필요할 수 있습니다.
Rohan Taori (52:33)
네. 또한, 우리는 텍스트 기반의 미세 조정을 넘어서는 RL 및 환경 기반 조정으로 확장해야 합니다. 이는 사람들이 에이전트 행동을 형성하는 데 도움이 되는 "미니 환경"을 구축하거나 기여하도록 만드는 것을 의미할 수 있습니다. 그러나 필요한 충분한 컴퓨트를 확보하는 것이 큰 질문입니다—그래서 이는 좋은 플랫폼과 오픈 소스를 위한 자금 모델과 관련됩니다.
Joules Barragan (53:16)
마지막 청중 질문: "AI가 인간 요소와 완전히 분리되는 데 얼마나 걸릴까요?"입니다.
Sean Ren (53:16)
솔직히 말해서, 나는 그것이 완전히 분리되어서는 안 된다고 생각합니다. 이는 The Matrix와 같은 시나리오를 초대하게 됩니다. 즉, 인간이 AI의 에너지원으로 전락하게 됩니다. 저는 인간과 AI가 서로 밀접하게 통합되어, 지속적으로 AI가 인간 윤리와 가치에 맞추어 조정되기를 원합니다.
Rohan Taori (54:03)
네, 100% 동의합니다. 그들이 협력하여 정렬된 상태를 유지하는 것이 중요합니다.
Joules Barragan (54:09)
오늘 여기까지입니다. 오늘 참석해 주신 모든 분들께 감사드리며, Sean과 Rohan에게 여러분의 통찰을 공유해 주셔서 감사합니다. 곧 상금 수상자를 선정하고 X에 발표하겠습니다.
몇 가지 마무리 노트:
X(트위터)를 팔로우하는 것과 Discord에 참여하는 것을 잊지 마세요.
대기자 명단에 가입하세요: 데이터 서비스 플랫폼의 시즌 2가 곧 출시됩니다! 우리는 항상 대기자 명단이 있는 분들에게 먼저 알파 정보를 공유합니다.
약 2주 후에 또 다른 Twitter Spaces AMA를 계획하고 있으니, 새해를 맞이하여 그에 대한 기대를 해주세요.
다시 한 번 참석해 주셔서 감사합니다!
