삼성, 갤S24에 초거대AI 어떻게 넣었나…’4비트 압축이 기술력’

김영집 삼성전자 MX사업부 언어AI팀장 부사장

18일 미국서 기자 간담회 열고 AI기술력 소개

갤S24 온디바이스AI…경량화·정확도 둘 다 잡아

온디바이스AI도 지속적으로 업그레이드

사용 패턴 학습한 맞춤 AI 개발도 추진

…

온디바이스AI 구현의 핵심은 경량화와 정확도 두 마리 토끼를 모두 잡는 것이다. 김 부사장은 “클라우드 상에서 설계·구현·학습한 강력한 성능의 AI 모델이 스마트폰 속 신경망처리장치(NPU)에서 작동하도록 압축하고 또 압축하는 과정이 필요하다”고 했다. 이어 “작은 메모리에서 동작하도록 파라미터 크기를 줄이는 ‘양자화’ 과정을 거쳐야 한다”며 “가우스 클라우드 버전은 파라미터 저장을 위해 (완전정밀도 타입인) 32비트를 사용하는데, 온디바이스 버전은 이를 4비트까지 낮췄다”고 설명했다. 양자화는 모델 크기를 위해 많이 쓰이는 기법이지만 보통 8비트로 변경하는 경우가 많다. 파라미터를 4비트로 낮추면서 정확도를 유지한 건 삼성전자의 AI 기술력을 단편적으로 보여준다고 할 수 있다.

실제 외부에서 예상하고 있는 것 이상으로 삼성전자가 AI 개발에 투입한 시간과 인력이 상당하다는 게 김 부사장의 설명이다. 그는 “삼성전자는 작년 챗GPT 열풍이 불기 훨씬 전부터 자체 LLM 개발을 시작했고 기업 비밀이라 밝히기 어렵지만, 한국과 해외 여러 지역에 상상 이상으로 많은 AI 인력이 있다”고 강조했다.

삼성전자는 온디바이스AI에 대한 업그레이드를 주기적으로 진행해 기능을 고도화할 계획이다. 김 부사장은 “온디바이스AI라고 한 번 출시 후 정체되는 게 아니다”며 “운영체제(OS) 업데이트와 별개로 모델 자체를 주기적으로 업데이트해 최신 기능을 사용할 수 있게 지원할 것”이라고 했다. 또 “추가 학습한 최신 모델은 크기가 늘어나는 것 아니냐고 우려할 수도 있는데, 학습을 통해 지식이 늘어나도 모델 크기가 커지는 건 아니다”며 “사람이 읽은 책을 머릿속에 지식화해서 가지고 있지 책을 모두 들고 다니진 않는 것과 같은 이치”라고 설명했다.