딥시크: 10,000개의 GPU와 퀀트 트레이더가 어떻게 AI 혁명을 촉발했는가
2025. 1. 26.
딥시크에 대해 이야기해 봅시다. — 생성적 AI의 풍경을 조용히 재편하고 있는 오픈 소스 AI 모델입니다. 소셜 미디어에서의 대화를 따라가셨다면, 아마도 그 이름이 점점 더 많이 등장하는 것을 보셨을 것입니다. 하지만 그 뒤에는 어떤 이야기가 있을까요? 어떻게 한 퀀트 트레이더의 열정 프로젝트에서 가장 많은 이야기를 나누는 AI 모델 중 하나가 되었을까요?
자세히 살펴보죠.
딥시크의 기원: 퀀트 트레이더의 집착
딥시크는 2023년에 장원펑(梁文峰)에 의해 설립되었습니다. 그는 저장대학교 알럼이며(재미있는 사실: 그는 우리 CEO이자 공동 창립자인 션 @xiangrenNLP와 같은 대학 출신으로, 션은 이후 스탠포드와 USC로 진학했습니다!). 장원의 고빈 주식 거래에서의 배경은 AI의 잠재력에 대한 독특한 관점을 제공했습니다. 생성적 AI 붐이 오기 훨씬 전에 그는 10,000개 이상의 NVIDIA A100 GPU를 비축하고 있었습니다. — 예, 맞습니다. 2021년까지 그는 많은 AI 연구소들이 부러워할 계산 인프라를 이미 구축하고 있었습니다!
그의 목표는? 알고리즘 혁신을 통해 AGI(인공지능 일반)를 선도하는 것이었습니다, 강제적인 컴퓨트가 아닌. 효율성에 대한 이러한 초점은 미국의 칩 수출 제한으로 인해 필요해졌지만, 딥시크를 처음부터 차별화시키기도 했습니다.
딥시크 모델의 발전: V1에서 R1까지
딥시크의 여정은 DeepSeek-V1/V2로 시작되었으며, 이는 다중 헤드 잠재 주의(Multi-head Latent Attention, MLA) 및 DeepSeekMoE와 같은 새로운 아키텍처를 도입했습니다. 이러한 혁신은 계산 비용을 절감하고 추론 효율성을 향상시켜 이후의 발전을 위한 기반을 마련했습니다.
그 다음으로 DeepSeek-V3가 2024년 12월에 출시되었습니다 — 671B 매개변수 MoE 모델(토큰당 37B 활성 매개변수 포함)으로 14.8 조 토큰에서 훈련되었습니다. V3는 Llama 3.1-405B의 1/11 활성 매개변수로 GPT-4 수준의 성능을 달성했으며, 총 훈련 비용은 560만 달러였습니다. 보조 손실 없는 부하 균형 MoE, 다중 토큰 예측(MTP), FP8 혼합 정밀도 훈련 프레임워크와 같은 주요 혁신들은 그 모델을 돋보이게 했습니다.
하지만 진정한 게임 체인저는 DeepSeek-R1이었습니다. 2025년 1월에 출시된 이 모델은 수학, 코드 및 논리 작업에 탁월하며, 최소한의 레이블이 있는 데이터를 사용하여 강화 학습(RL)을 적용합니다. MIT 라이선스 하에 오픈 소스로 제공되며 OpenAI의 모델을 AIME 2024와 같은 벤치마크에서 능가했습니다(79.8% 대 79.2%).
딥시크 팀: 젊고 대담하며 자원ful
딥시크의 핵심 팀은 중국의 top 대학 출신의 젊은 인재들로 이루어진 강력한 인재들입니다. 문화? OpenAI의 초기 시절을 생각해 보세요: 수평적 체계, 자원 접근 자유(누구나 GPU 클러스터를 요청할 수 있음), 호기심 기반 연구에 초점을 맞추고 있습니다. 그래서 그들이 그렇게 빠르고 효과적으로 반복할 수 있는 것은 놀라운 일이 아닙니다.
오늘날의 AI 생태계에 미친 영향
딥시크는 높은 성능이 과도한 컴퓨트를 요구하지 않음을 입증했습니다. V3의
약 560만 달러의 훈련 비용은 GPT−4o의 약 1억 달러의 비용의 일부이며, R1의 오픈 소스 출시는 최첨단 AI에 대한 접근을 민주화했습니다. 이는 폐쇄 소스 경쟁자들에게 상당한 압박을 가해 딥시크를 오픈 소스 AI 운동의 선두주자로 만들었습니다.
결과는 스스로 말해줍니다: DeepSeek-R1은 2025년 1월 현재 Chatbot Arena에서 4위에 위치하며, Top 10에서 유일한 오픈 소스 모델입니다(딥시크-V3 제외)!
딥시크 더 자세히 보기
기술에 관심 있는 분들을 위해 탐색할 수 있는 몇 가지 자료가 있습니다:
DeepSeek-V3 기술 보고서: arxiv.org/abs/2412.19437v1
DeepSeek-R1 GitHub 레포 및 논문: github.com/deepseek-ai/DeepSeek-R1
창립자의 철학(레슨롱 인터뷰): lesswrong.com/posts/kANyEjDDFWkhSKbcK
딥시크와 사하라 AI
우리는 2024년 초에 딥시크의 잠재력을 인식하고 이를 우리의 작업의 핵심 부문으로 만들었습니다. 이번 분기 R1은 우리의 AI 스튜디오 출시의 플래그십 모델 중 하나가 될 것입니다, 다른 주요 모델과 함께.
우리는 여러분에게 우리가 만들고 있는 모든 것을 보여주고 싶어 못 기다리겠습니다. 여기에서 우리 upcoming AI 개발 플랫폼을 처음으로 사용해 볼 수 있는 개발자 얼리 액세스 프로그램에 참여하세요: https://hi.saharalabs.ai/dev-early-access
