Svmuu 소식: 공식 발표에 따르면, Tether는 QVAC Fabric 내의 크로스 플랫폼 BitNet LoRA 미세 조정 프레임워크를 출시하여 Microsoft BitNet(1-bit LLM)의 훈련 및 추론 최적화를 실현했다고 밝혔다.이 프레임워크는 연산 능력과 메모리 요구 사항을 대폭 줄여, 10억 파라미터급 모델도 노트북, 소비자용 GPU 및 스마트폰에서 훈련과 미세 조정을 완료할 수 있게 합니다. 이 솔루션은 BitNet 모델의 모바일 GPU(Adreno, Mali 및 Apple Bionic 포함) 상에서의 미세 조정을 최초로 실현했으며,테스트 결과, 1억 2,500만 파라미터 모델은 약 10분 이내에, 10억 파라미터 모델은 약 1시간 내에 미세 조정이 완료되며, 심지어 모바일 기기에서도 130억 파라미터 모델까지 확장 가능합니다. 또한, 이 프레임워크는 Intel, AMD 및 Apple Silicon과 같은 이기종 하드웨어를 지원하며, NVIDIA가 아닌 장치에서 1비트 LLM LoRA 미세 조정을 최초로 구현했습니다.성능 측면에서 BitNet 모델은 모바일 GPU에서의 추론 속도가 CPU 대비 2~11배 향상되었으며, 동시에 메모리 사용량은 기존 16비트 모델 대비 최대 약 77.8% 감소했다. Tether 이 기술은 고성능 컴퓨팅 및 클라우드 인프라에 대한 의존도를 해소하고, AI 훈련을 탈중앙화 및 현지화 방향으로 발전시키며, 연방 학습(federated learning)과 같은 새로운 응용 시나리오에 기반을 제공할 것으로 기대된다.