1. Apple에서 새로운 MLLMs(Multi-modal Large Language Models) 'MM1'를 발표했습니다.
30B 크기의 MoE 구조 모델 입니다.
https://arxiv.org/abs/2403.09611
MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training
In this work, we discuss building performant Multimodal Large Language Models (MLLMs). In particular, we study the importance of various architecture components and data choices. Through careful and comprehensive ablations of the image encoder, the vision
arxiv.org
2. Apple에서 새로운 딥러닝 프레임워크 'AXLearn'을 공개했습니다.
Large Scale의 딥러닝 모델 개발을 위한 라이브러리이며 JAX와 XLA를 기반으로 제작되었습니다.
Flax와 Huggingface Transformers와의 통합도 지원합니다.
https://github.com/apple/axlearn
GitHub - apple/axlearn
Contribute to apple/axlearn development by creating an account on GitHub.
github.com
3. 일론 머스크의 xAI에서 314B 크기의 LLM 모델 'Grok-1'을 공개했습니다.
오픈소스로 공개되었으며 상업적 사용과 2차 라이선스, 특허 출원 등이 가능한 Apache 2.0 라이선스로 공개되었습니다.
Blog
March 17, 2024 March 17, 2024 We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model, Grok-1. Read more
x.ai
https://github.com/xai-org/grok-1
GitHub - xai-org/grok-1: Grok open release
Grok open release. Contribute to xai-org/grok-1 development by creating an account on GitHub.
github.com
'인공지능 > 트렌드' 카테고리의 다른 글
| [2024.05] AI 소식 (0) | 2024.05.29 |
|---|
