|
서비스나우, 허깅페이스, 그리고 NVIDIA가 오늘 StarCoder2라는 새로운 대규모 언어 모델 패밀리를 공개했습니다. 이 모델은 성능, 투명성 및 비용 효율성 측면에서 새로운 기준을 세웁니다. StarCoder2는 서비스나우가 이끄는 BigCode 커뮤니티와 허깅페이스가 관리하는 가장 많이 사용되는 오픈 소스 플랫폼에서 협력하여 개발되었습니다. 이 모델은 619개의 프로그래밍 언어로 훈련되었으며, 애플리케이션 소스 코드 생성, 워크플로 생성, 텍스트 요약 등과 같은 특수 작업을 수행하기 위해 기업 애플리케이션에 추가로 훈련 및 삽입될 수 있습니다. 개발자들은 코드 완성, 고급 코드 요약, 코드 스니펫 검색 등의 기능을 사용하여 혁신을 가속화하고 생산성을 향상시킬 수 있습니다.
StarCoder2는 세 가지 모델 크기를 제공합니다. 서비스나우가 훈련한 30억 파라미터 모델, 허깅페이스가 훈련한 70억 파라미터 모델, 그리고 NVIDIA NeMo로 구축된 NVIDIA가 개발한 150억 파라미터 모델입니다. 더 작은 변형은 강력한 성능을 제공하면서도 인퍼런스 중에 계산 비용을 절약할 수 있습니다. 사실, 새로운 30억 파라미터 모델은 원래의 150억 파라미터 모델과 동일한 성능을 발휘합니다. “StarCoder2는 개방적인 과학적 협업과 윤리적인 데이터 공급 사슬을 통한 책임 있는 AI 실천의 결합력을 증명하는 것입니다.”라고 서비스나우의 StarCoder2 개발 팀 리드이자 BigCode의 공동 리드 인 Harm de Vries가 강조했습니다. “최첨단 오픈 액세스 모델은 이전 생성적 AI 성능을 향상시켜 개발자 생산성을 높이며, 개발자들이 코드 생성 AI의 혜택에 동등하게 접근할 수 있도록 함으로써 어떤 규모의 조직이든 그들의 비즈니스 잠재력을 더 쉽게 실현할 수 있도록 합니다.” 허깅 페이스, 서비스나우 및 NVIDIA가 이끄는 공동 노력은 전체 데이터 및 교육 투명성을 갖춘 강력한 기본 모델을 공개할 수 있도록 하여 커뮤니티가 다양한 응용 프로그램을 보다 효율적으로 구축할 수 있게 합니다.” – Hugging Face의 기계 학습 엔지니어이자 BigCode의 공동 리드 인 Leandro von Werra가 말했습니다. “StarCoder2는 우리가 책임 있는 인공 지능을 민주화하기 위해 오픈 소스와 오픈 과학의 잠재력을 입증하는 것입니다.”
“모든 소프트웨어 생태계에는 프로프라이어터리 프로그래밍 언어가 있기 때문에, 코드 LLM은 모든 산업에서 효율성과 혁신을 도모할 수 있습니다.” – NVIDIA의 응용 연구 부사장인 Jonathan Cohen이 말했습니다. “NVIDIA의 서비스나우 및 허깅 페이스와의 협력은 안전하고 책임 있는 개발된 모델을 소개하고 전 세계적인 커뮤니티에 이익을 가져다 줄 것으로 믿는 책임 있는 생성형 AI에 대한 보다 광범위한 접근을 지원합니다.”
StarCoder2 모델이 맞춤형 응용 프로그램 개발을 강화합니다 StarCoder2 모델은 투명성과 오픈 관리를 우선시하는 BigCode의 최첨단 아키텍처와 신중하게 선별된 데이터 소스를 공유하여 책임 있는 혁신을 규모에 맞게 가능케 합니다. StarCoder2는 텍스트를 코드로 변환하고 텍스트를 워크플로로 변환하는 기능을 포함한 미래의 AI 기반 코딩 응용 프로그램의 잠재력을 발전시킵니다. 보다 폭넓고 깊은 프로그래밍 교육을 통해 저장소 컨텍스트를 제공하여 정확하고 컨텍스트에 맞는 예측을 가능케 합니다. 이러한 발전은 경험이 풍부한 소프트웨어 엔지니어와 시민 개발자 모두에게 가치를 제공하여 비즈니스 가치와 디지털 전환을 가속화합니다.
StarCoder2의 기초는 Stack v1보다 7배 이상 큰 새로운 코드 데이터 세트인 Stack v2입니다. 고급 데이터 세트 외에도, 새로운 교육 기술은 모델이 저자원 프로그래밍 언어 (예 : COBOL), 수학 및 프로그램 소스 코드 토론을 이해하는 데 도움을 줍니다.
비즈니스 특화 데이터를 사용하여 기능을 발전시키는 파인튜닝 사용자들은 NVIDIA NeMo 또는 Hugging Face TRL과 같은 오픈 소스 도구를 사용하여 업계 또는 조직별 데이터로 오픈 액세스 StarCoder2 모델을 파인튜닝할 수 있습니다. 사용자는 더 복잡한 요약 또는 분류 작업을 처리하는 고급 챗봇을 만들거나, 프로그래밍 작업을 빠르고 쉽게 완료할 수 있는 개인화된 코딩 어시스턴트를 개발하거나, 관련 코드 조각을 검색하고 텍스트를 워크플로로 변환하는 기능을 가능케 할 수 있습니다.
조직은 이미 기본 StarCoder 모델을 파인튜닝하여 비즈니스에 특화된 특정 작업 기능을 만들기 시작했습니다. 서비스나우의 텍스트-코드 Now LLM은 워크플로 패턴, 사용 사례 및 프로세스에 맞게 파인튜닝 및 훈련된 150억 파라미터 StarCoder LLM의 특수 버전을 기반으로 구축되었습니다. 허깅 페이스도 이 모델을 사용하여 StarChat 어시스턴트를 만들었습니다.
BigCode는 AI에서의 오픈 과학적 협력을 촉진합니다 BigCode는 코드용 LLM의 책임 있는 개발에 전념한 Hugging Face와 서비스나우가 주도하는 오픈 과학적 협력을 나타냅니다. BigCode 커뮤니티는 작업 그룹 및 태스크 포스를 통해 StarCoder2 프로젝트의 기술적 측면에 적극적으로 참여하여 서비스나우의 Fast LLM 프레임워크를 사용하여 30억 파라미터 모델을 훈련시키고, 허깅 페이스의 nanotron 프레임워크를 사용하여 70억 파라미터 모델을 훈련시키고, NVIDIA NeMo 클라우드 네이티브 프레임워크 및 NVIDIA TensorRT-LLM 소프트웨어를 사용하여 150억 파라미터 모델을 훈련 및 최적화했습니다. 책임 있는 혁신은 BigCode의 핵심 가치입니다. 이는 오픈 거버넌스, 투명한 공급망, 오픈 소스 소프트웨어 사용, 그리고 개발자가 훈련 데이터를 선택적으로 배제할 수 있는 능력을 통해 입증됩니다. StarCoder2는 Inria가 호스팅하는 Software Heritage의 디지털 커먼스에서 라이선스를 받은 책임 있는 소스 데이터를 사용하여 구축되었습니다. “StarCoder2는 Software Heritage 소스 코드 아카이브를 사용하여 개발된 최초의 코드 생성 AI 모델이며 코드 모델의 책임 있는 개발 정책과 일치하도록 구축되었습니다,”라고 소프트웨어 헤리티지의 디렉터인 로베르토 디 코스모가 말했습니다. “서비스나우, 허깅 페이스 및 NVIDIA의 협력은 윤리적 AI 개발에 대한 공동의 헌신을 보여주며, 기술을 발전시켜 사회적 이익을 도모하고 있습니다.”
StarCoder2는 이전 모델과 마찬가지로 BigCode 오픈 RAIL-M 라이선스에 따라 로열티 없는 액세스 및 사용이 가능합니다. 더 많은 투명성과 협업을 촉진하기 위해 모델의 지원 코드는 계속해서 BigCode 프로젝트의 GitHub 페이지에 유지됩니다. 모든 StarCoder2 모델은 또한 허깅 페이스에서 다운로드할 수 있으며, StarCoder2 1500억 파라미터 모델은 개발자가 브라우저에서 직접 실험하거나 API 엔드포인트를 통해 사용할 수 있는 NVIDIA AI Foundation 모델에서 사용할 수 있습니다. ※ 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 것으로, 퀘이사존 견해와 주관은 포함되어 있지 않습니다. |
