Svmuu 소식: 롯데그룹이 오픈소스 모델 ‘Rakuten AI 3.0’을 공개하며 이를 “일본 최대 규모의 고성능 AI 모델”이라고 밝혔다. 이 모델은 MoE 아키텍처를 채택했으며, 총 파라미터는 6710억 개, 추론 시마다 370억 개의 파라미터가 활성화되고, 컨텍스트 윈도우는 128K이다. 일본어 환경에 최적화되어 있으며, 여러 일본어 벤치마크 테스트에서 GPT-4o보다 우수한 성능을 보였다. 이 모델은 일본 경제산업성과 신에너지·산업기술종합개발기구(NEDO)가 추진하는 GENIAC 프로젝트의 성과 중 하나로, 일부 연산 능력 지원을 받았다. 롯데는 기본 모델의 출처를 공개하지 않았으며, 오픈소스 커뮤니티의 성과를 기반으로 구축되었다고만 밝혔다. 커뮤니티는 HuggingFace 모델 파일에서 config.json에 "deepseek_v3" 및 관련 아키텍처 필드가 포함되어 있으며, 파라미터 규모와 컨텍스트 구성이 DeepSeek V3와 일치하는 것을 발견했다. 이는 해당 모델이 DeepSeek V3를 기반으로 일본어 미세 조정을 거쳤을 가능성을 시사한다.