구글 Gemma란 무엇인가? - 경량 대규모 언어모델 sLLM

구글에서 2023년 11월 Gemma라는 경량 인공지능 대규모 언어 모델(LLM)을 내놓았습니다. 구글은 이미 인공지능 서비스 Gemini를 발표하고, Bard와 통합했는데, 이번에 발표한 Gemma는 또 뭘까요? 대규모 언어모델이라고 하는데, 왜 '경량'이라고 하는 걸까요? 같이 알아봅시다.

 

 

Gemma란?

구글에서 내놓은 Gemma는 구글의 경량 대규모 언어모델로, Gemini를 만드는 데 사용된 기술을 기반으로 구축되었습니다. Gemma는 인공지능 기술의 대중화를 목표로 하며, 이미지 인식, 자연어 처리, 자율 주행 차량 등 다양한 분야에서 활용될 수 있습니다. 우리말 발음으로는 보통 '젬마'라고 부릅니다.

 

Gemma 홈페이지 바로가기 >>

 

구글은 이 기술을 오픈소스로 공개함으로써 학교나 연구기관, 스타트업, 나아가서는 개인까지도 쉽게 다운로드하여, 인공지능 서비스나 앱을 개발할 수 있는 길이 열리게 되었습니다.

 

 

대규모 언어 모델임에도 '경량'이라고 불리는 이유는 매개변수의 개수가 20억 개와 70억 개로 구성되어 있기 때문입니다. 우리가 익히 알고 있는 chatGPT나 구글의 Gemini의 경우 매개변수의 개수가 수천억 개에서 수조 개에 달하는 것과 비교해 보면 확실히 '경량' 모델임을 알 수 있습니다.

 

매개변수 20억 개의 모델을 Gemma 2B, 70억 개의 모델을 Gemma 7B라고 부릅니다.

 

Gemma의 특징

Gemma의 일반적인 특징을 정리해 보면 아래와 같습니다.

• 경량 대규모 언어 모델입니다. Gemma는 기존의 대규모 언어 모델들에 비해 훨씬 적은 매개변수를 사용하여 메모리 사용량과 계산 비용을 크게 줄였습니다.
• 높은 성능을 자랑합니다. 경량화에도 불구하고 Gemma는 텍스트 생성, 번역, 질의응답 등 다양한 자연어 처리 작업에서 높은 정확도를 보여줍니다.
• 다양한 플랫폼에 적용할 수 있습니다. Gemma는 모바일, 임베디드 시스템, 클라우드 등 다양한 플랫폼에서 실행할 수 있습니다.
• 오픈 소스로 공개되어 있습니다. Gemma는 오픈 소스 모델로써 누구나 자유롭게 사용하고 개선할 수 있습니다.

Gemma는 Transformer 모델 구조를 기반으로 설계되었으며, 효율적인 메모리 사용과 빠른 추론 속도를 위해 Sparse Attention 기술을 적용했습니다. 또한, 텍스트와 프로그램 코드로 구성된 대규모 데이터 세트로 이미 학습이 진행되어 있습니다.

 

 

Gemma로 할 수 있는 것들

Gemma는

• 모바일 기기에서 작동하는 번역 앱, 음성 비서, 챗봇 등에 활용될 수 있습니다.
• 스마트 가전제품, 스마트 팩토리, 자율주행 자동차 등 임베디드 시스템에 사용할 수 있습니다.
• 클라우드 환경에서 작동하는 챗봇, 문서 요약, 검색 엔진 등에 활용될 수 있습니다.

Linux는 오픈소스 정책을 채택해서 무료로 배포되고 있으나, 전 세계의 개발자가 참여하여, 유료 OS 보다 더 뛰어난 성능을 보이며, 서버 시장을 석권하였습니다. 구글은 Gemma를 오픈소스로 공개하여, 폐쇄 정책으로 가고 있는 MS와 OpenAI에 대항하여 인공지능 분야에서 거대한 생태계를 만들고자 하는 것으로 보입니다.

 

구글이 공개한 Gemma를 통해 만들어지는 다양한 서비스와 앱을 통해 우리의 삶이 얼마나 혁신적으로 변화될 수 있을지 기대하는 마음으로 지켜봐야겠습니다.