마이크로소프트 이그나이트 2023 컨퍼런스 전체 정리본[5차 – ‘AI(인공지능)의 혁신’ …

[마이크로소프트]

① [LLM(대형 언어 모델) 애플리케이션 프로파일]

– 그래프 구성 : 프롬프트(경량형, 중형) / 생성(경량형, 중형)

– 키워드 : 컨텐츠 제작, 신속한 엔지니어링 + 기업용 챗봇, 챗봇, 요약

② 마이크로소프트(생성 스케줄링)

☞ Naive 생성 스케줄링

– 구성 요소 : 프롬프트 토큰, LLM(대규모 언어 모델)

– 처리 과정(첫번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도 + 신속한 처리로 인해 속도가 저하 + 정상으로 회복되지만 병렬 세대로 인하여 속도가 저하)

– 처리 과정(두번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ☞ 첫번째 토큰 처리 과정 중 간섭이 발생함

☞ Azure-ML(애저 머신러닝) ‘Project Flywheel(프로젝트 플라이휠)’

– 구성 요소 : 프롬프트 토큰, LLM(대규모 언어 모델)

– 처리 과정(첫번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ▶ 일괄 처리로 고정 수량만 수행

– 처리 과정(두번째 토큰) : 프롬프트 토큰 → LLM → 토큰 생성(일반 속도) ▶ 첫번째 토큰 처리에 대한 속도 영향 없음

※ 특징 : 예측 가능한 발전 처리량 / PTU 및 생성 처리량의 선형 규모 / 부분 자원 구매(부분 제공 처리량 단위를 도입이 가능하게 해주는 기능)

③ 오픈 소스 프로젝트

– Type-Chat(타입-채팅) : 모델이 출력할 내용에 대한 ‘스키마’를 지정하도록 하는 기능

– 엔지니어링의 변화 : 프롬프트 ☞ 스키마

– 구성 요소 : 정의된 스키마 → 타입-채팅[프롬프트 구축 → LLM ↔ 스키마 검증 ↔ 복구] →(입력이 잘된 응답) 애플리케이션 코드

– 지원 예정 언어 : PyThon, ‘.NET’, C#, 자바 스크립트

④ 마이크로소프트[기밀 AI(인공지능)의 비전]

– 모델 : 사용자들의 IP를 보호를 원함

– 데이터 : 훈련, 미세조정, 추론, 프롬프트 기반 응답 교류 데이터(본인 외에는 누구도 볼 수 없음)

– 다중 공유 : 당사자 간의 데이터 공유 및 기밀 H/W로 보호(서로 간의 데이터를 볼 수 없는 다중간 시나리오 지원)

[마이크로소프트 – AI(인공지능)]

▶ 마이크로소프트[AI(인공지능) 서빙]

– 질문 : 언제 무엇을 하느냐

– 기초 모델의 훈련

① 제로샷(시작) : 모델에 어떤 예시도 제공하지 않음

② 소수 : 사용자가 좋아하는 몇 가지 예시를 제공 및 학습하여 원하는 것을 생각할 수 있는지 확인

③ RAG(검색 증강 생성) : 대량의 데이터 제공 및 소스 로딩하거나 제공

④ 미세 조정 : 모델에 지식을 추가하는 데 적합하지 않음.

※ 사용자(고객)와(과) 내부적으로 협력한 모든 내용을 바탕으로 한 지침을 단계적 차트로 따르는 것

☞ 전통적인 미세 조정(GitHub CO-Pilot)

– 고객이 모델의 사용자 정의 버전을 만드는 경우가 많기 때문임.

– 과정(대규모) : 대규모 공통 데이터 세트 → 사전 학습 → 소스 모델

– 과정(소규모) : 소규모 목표 데이터 세트 → 미세 조정 → 목표 모델

– GPU 필요 개수(미세 조정) : 96개

– 필요 체크포인트 용량 : 1TB

– 모델 전환 시의 소요 시간 : 1분

※ (소규모)과정 모델은 ‘(대규모)과정 모델’ 전체를 복사함.

※ 각 미세 조정 작업을 위한 거대 모델 : 훈련 가능한 모델 매개변수(1,750억개)

☞ ‘LoRA’ 미세조정 모델(마이크로소프트 연구소)

– 하위 적응형 미세조정

– 과정(소규모) : 소규모 목표 데이터 세트 → 동결 → 목표 모델(기본 중량)

– 추가 : ‘미세조정’ 어댑터라는 추가 가중치를 생성(LoRA 어댑터)

– GPU 필요 개수(미세 조정) : 24개

– 필요 체크포인트 용량 : 200MB

– 모델 전환 시의 소요 시간 : 2초

– 추가 추론 대기 시간 없음

– 훈련 처리량 증가 : 25%

※ 하나의 기본 모델 + 여러 개의 소형 어댑터(GPT-3 모델 미세 조정의 용량 크기 : 200MB)

※ 사전 학습 모델을 사용하여 다양한 작업을 위한 여러 개의 소형 ‘LoRA’ 모듈

▶ 마이크로소프트[AI(인공지능) 서빙] – 미세 조정 서빙

① 전통적 미세 조정 서빙

– 요청 프로세스 순서 : 요청 → 로드 → 컴퓨팅 → 출고 → 로드(미세 조정 베이스 모델) → 컴퓨팅 → 출고…

② 다중-LoRA 미세 조정 서빙

– 요청 프로세스 순서 : 요청 → 로드(4개 LoRA + 베이스 모델 / GPU에 로드) → 컴퓨팅…(병렬로 계산 수행으로 수백개, 수천개의 미세조정 모델을 로드가 가능함)

▶ 마이크로소프트[AI(인공지능)] – 프로덕션의 ‘AI(인공지능)’ 출력 처리

– 자연어 출력 : 프로그래밍에서는 자연스럽지가 않음.

– 사용자 프롬프트(질문) → LLM(대형 언어 모델 – 답변) ☞ 시스템에서 처리하기가 어려움

– 일관된 형식이 지정되지 않기 때문

▶ 마이크로소프트[AI(인공지능) 연구]

– 문제 : 언어 모델이 작을 수 있느냐?

☞ 그래프(수평 : 훈련 토큰 / 수직 : 모델 사이즈)

– GPT-3 모델 : 1,750억 개(매개 변수), 3,000억 개(훈련 토큰)

– Llama 2 모델 : 70억 개(매개 변수), 2조 개(훈련 토큰)

– LLM(대형 언어 모델)

☞ 컴팩트한 데이터 세트로 더 작은 모델의 가능성

– 사람 : 10억 개의 세계만 읽음(1분 : 100 단어, 30년 기간 중 하루 16시간)

– 언어 모델 : ‘수 조’개의 단어를 읽음(모든 것을 외움, 순수한 정보는 배우기 쉬우나 ‘논리 / 액션(요약, 재작성)’ 등에는 어려움이 있음.

★ 가설 : 훈련 데이터세트에서 덜 중요하게 여겨지는 것(소형 모델, 쉬운 훈련, 저렴한 추론 비용)

[마이크로소프트 – 서버(데이터센터)]

▶ 마이크로소프트[지속 가능형의 ‘서버(데이터센터)’ 발전] – PUE(Power Usage Effectiveness – 전력 효율성 지수)의 진화

– 1세대(1989년 – ‘2.0+’) : ‘Colo’ 시설에서 시작

– 2세대(2007년 – ‘1.5 ~ 1.8’) : 밀도

– 3세대(2009년 – ‘1.4 ~ 1.6’) : 방지(윈도우 애저 클라우드 공개)

– 4세대(2012년 – ‘1.1 ~ 1.3’) : 모듈러 방식(윈도우 애저 클라우드 → 마이크로소프트 애저 클라우드로 변경)

– 5세대(2015년 – ‘1.17 ~ 1.25’) : 하이퍼-스케일 규모

– 6세대(2017년 – ‘1.17 ~ 1.19’) : 확장가능 타입 폼팩터

– 7세대(2018년 – ‘1.15 ~ 1.18’) : 발라드 파워

– 8세대(2018년 – ‘1.15 ~ 1.18’) : 전력 수확

♧ 2020년 ~ 2023년 기간 : 내부의 전기 시설을 재정비(단순화, 안정화, 효율성 + 고온도 작동)

– 9세대(2020년 – ‘1.15 ~ 1.18’) : 신속형 배포 타입 ‘서버(데이터센터)’

– 10세대(2020년 – ‘1.12 ~ 1.14’) : 다중 가용성 & 지속 가능성

– (신규)11세대(2023년 – ‘1.09 ~ 1.17’) : AI(인공지능) GPU 가속기

※ 서버(데이터센터)에 투입되는 에너지 = 1와트의 에너지가 발생

※ 냉각 방식 : 공냉 방식, 액체 방식 등 다양성 냉각 방식도 설계

※ 운용 방식 : ‘유연성 용량’을 도입[서버(데이터센터)의 초과 백업 전력을 구독함의 의미]

★ 전원 유틸리테 장애 발생 시, ‘서버(데이터센터)’의 해당 부분에 전원이 공급되지 않음.

▶ 마이크로소프트[서버(데이터센터)] – 백업 전력

– 오늘날 ‘백업 발전기’ : 화석 연료를 연소하여 전력을 발생(디젵 발전기)

– ‘Proton Exchange Membrane(PEM – 양성자교환막)’ 수소연료전지 : ‘전기, 발열, 물’을 생성하는 화학 반응에서 결합(수소 + 산소)

– 2013년 : 서버(데이터센터)의 전력 공급을 위한 다양성의 ‘연료 전지’를 모색함

– 2018년 : ‘수소 연료 전지’에 관심을 증폭함(수소를 흡수 후 ‘양성자’ + ‘전자’를 분리)

☞ ‘Proton Exchange Membrane(PEM – 양성자교환막)’ 수소연료전지의 특징

– 연소 없음

– 미립자 물질이 없음

– 탄소 배출 제로

▶ 마이크로소프트[서버(데이터센터)] – ‘수소 연료 전지’의 스케일 확장(KW – 킬로와트)

– 2018년도 : ’10KW 용량’부터 시작 → 당시 개발하는 데 어렵게 했던 이유(비용이 많이 드는 과정)

– 용량 확장 : 백업을 통한 ’50KW 용량’을 전력 공급 시작

– 2020년 : 250KW로 옮겨서 전력 공급[디젤 발전기 백업 전력 목표 용량(총 48시간 연속 서버)을 10개의 랙에 공급]

– 2022년 : 3MW(메가와트) 규모의 ‘백업 전력 공급 시스템’을 구매(전체 테스트 완료 및 수증기로 배출됨

※ H/W 벤더사 & 설계사와 협력하여 구축(목표) : ‘비용의 감소 및 표준화’, ‘규모 등급별 제작’으로 모든 사람들이 활용하는 것.

※ 또한, 마이크로소프트가 ‘친환경 기반 서버(데이터센터)’를 구축하기 위한 노력임.

▶ 마이크로소프트[서버(데이터센터)] – 내부 냉각 구조(미세유착 냉각 방식)

– 수냉 ‘냉각판’ 방식(왼쪽) : 튜브, 냉각판, 파이프를 통하여 수냉이 유입(유출) 과정을 통하여 발열을 식힘

– (신규)미세유착 냉각 방식 : 냉각판을 통과하는 대신 물이 부품에 ‘직접 접촉 및 흐름’이 가능한 반도체, 방식, 공간을 실제로 에칭함

☞ CPU[8세대 인텔 코어 i7 8700(95W TDP)] : CPU 히트스프레더를 분해 및 코어 다이에 ‘유체 공급 튜브’를 커스텀 접합 및 연결하여 냉각하는 방법도 적용함 → 오버클럭킹 및 215와트의 전력 생산으로 ‘미세유착 방식’으로 냉각을 재현함

★ 미세유착 냉각 방식 세부 구조

– 구성 요소 : 인터포저, 반도체,(H/W, FPGA), 수냉 유입구, 수냉 유출구

– ‘3D 분해’ 구성 : 엇갈림(? – 의역입니다) 방식 초소형 쿨링 냉각판 : 200um[1개당 쿨링핀 높이 – um(마이크로미터)], 마이크로핀 방열판

※ 발열 저항 & 폼팩터의 상당한 감소를 자랑함

※ 특수 발열 냉각 시스템 방식으로 최대 성능을 향상(2배 ~ 3배) 및 제곱센티미터당 최대 1,000와트의 플럭스 값을 지원

[마이크로소프트 – 서버(데이터센터) 인프라스트럭쳐]

▶ 마이크로소프트[서버(데이터센터)] – 오프로드를 통한 인프라스트럭쳐의 가속화

① 전통적인 인프라스트럭쳐(네트워크, 스토리지, I/O, 호스트 OS)

– 호스트 OS : 스토리지, 네트워크, 에이전트

– 소비자 워크로드 : VM(64개의 가상 CPU)

※ VM에서 H/W와 직접 통신하지 않고, 중간에 S/W 오버헤드가 발생한다는 것을 의미함

※ 해당 I/O 처리를 수행하는 동안 서버에서 많은 CPU를 소모함

② 오프로드 방식 인프라스트럭쳐

– I/O 가속 변환 계층

– 소비자 워크로드 : VM(192개의 가상 CPU)

– 보안 & 리소스 경계(애저 부스트) : 오프로드 가속화(에이전트 + 스토리지 + 네트워크)

▶ 마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부]

– 높은 스택 단계 : AI(인공지능) 모델의 제공 및 훈련을 진행하는 방법

– 코드명 : Project Forge(프로젝트 포지) → 공식 브랜드명은 미정

– 모든 내부 교육 및 추론 워크로드를 실행하는 장소임

★ Project Forge(프로젝트 포지) 세부사항

– ‘Azure(애저) 클라우드’ 전체의 서버리스 워크로드 인식 글로벌 스케줄링

– 신뢰성이 높고 효율적인 AI 인프라스트럭쳐

– 워크로드를 위한 인프라스트럭쳐 및 환경 추상화

– 엔비디아 ‘H100’ 텐서 코어 GPU가 필요함

– 글로벌 스케줄러(투명한 선점, 확장 & 축소, 실행) : 모든 Azure 클라우드 지역의 용량을 볼 수 있음[모든 지역에서 최신(최고) 기능 사용이 가능한 것은 아님]

♧ 구성요소 : ‘훈련 & 추론’ → ‘애저 머신-러닝’, 전역 스케줄러, 신뢰성 시스템, AI(인공지능) 가속기 추출

① 신뢰성 시스템 : 자동 복구, 장애 조치, 지불, 재개, 이주, 스케일링, 투명성 기반 체크포인트

② AI(인공지능) 가속기 추출 H/W : CPU, GPU, FPGA, ASIC

▶ 마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부] – 글로벌 리소스 관리자

– 용량의 처리화 : 물리적 → 가상화

☞ 기존 방식

– 각 팀은 자신의 용량만 사용이 가능함

– 용량을 모두 사용하지 않으면, 초과 용량분은 낭비됨

– 다른 팀의 GPU는 사용 접근이 불가능함

☞ 신규 방식

– 예약 포함된 단일 용량 공간(프리미엄 등급)

– 표준, 기본 등급의 초과 구독

– 팀은 정해진 용량이 아닌 가상 용량 클러스터를 보유하게 됨.

☞ Global Pool(글로벌 공간) 보기

– 총 사용량(프리미엄 + 스탠다드 + 기본)

– 예약 용량 사용량(프리미엄)

※ 단일 풀 유무에 관계없이 훈련 활용

▶ 마이크로소프트[AI(인공지능) 인프라스트럭쳐 서비스 내부] – 신뢰성 시스템

– 최대 효율성을 실현하는 열쇠

– 수행하는 방법 : 투명 체크포인트를 사용

– 큰 작업의 수행하는 경우 : GPU & 서버에 오류 발생 시 ‘체크포인트’ 지점 시점으로 롤백이 가능함

★ 투명성 체크포인트의 구조

– 모델 훈련 ↔ 훈련 시간

– 체크포인트 1 ↔ 체크포인트 2(장애 조치) / 체크포인트 2(일시정지 & 재개) / 체크포인트 4(유예) / 체크포인트 5(높은 우선순위 작업의 선점) / 체크포인트 6(스케일링)

▶ 마이크로소프트(애저 클라우드]

① 마이크로소프트[애저 클라우드(애저 부스트)] – 원격 스토리지

☞ 기존 방식

– VM 사용자 → SCSI로 ‘호스트’에 접근

– 호스트(VM 버스, Azure S/W, NDIS + 하이퍼-V & 가상화) → 원격 스토리지에 접속

☞ 신규 방식

– VM 사용자 → NVMe로 접속(애저 부스트)

– 애저 부스트 → 호스트 및 원격 스토리지에 접속

– 호스트(Azure S/W, NDIS) → 원격 스토리지에 접속

※ 애저 부스트의 재설계를 통한 장점

① IOPS 향상(650,000K) : 이전 방식보다 2배 증가

② 처리량 향상(12.5GB/s) : 이전 방식 보다 25% 증가

② 마이크로소프트[애저 클라우드(애저 부스트)] – 로컬 스토리지

☞ 기존 방식

– VM 사용자 → SCSI로 “호스트”에 접근

– 호스트(VM 버스, Azure S/W, 하이퍼-V & 가상화) → 로컬 SSD에 접속

☞ 신규 방식(애저 부스트 SSD)

– VM 사용자 → NVMe SSD 컨트롤러로 접속

– 보안 & 리소스 경계

※ 애저 부스트 SSD의 재설계를 통한 장점

① IOPS 향상(3,800,000) : 이전 방식보다 7.4배 증가

② 처리량 향상(로컬 / 임시 저장소 – 17.2GB/s) : 이전 방식 보다 4.3배 증가

③ 마이크로소프트[애저 클라우드(애저 부스트)] – 네트워킹

– 처리량 : 최대 200Gbps

– 서비스 처리율 : 9배 개선 → 해당 구성 요소를 제거함으로써 가상화 워크로드에 영향을 미치지 않으면서 서비스 제공이 가능함

– 탄력성 기반 ‘듀얼 TOR’

☞ 접근 방식

– VM 사용자 : 호스트 및 애저 부스트로 접속

– 애저 부스트 : SoC 반도체, TOR 1 & TOR 2

– 호스트 : VM 버스, Azure S/W, NDIS + 하이퍼-V & 가상화

▶ 마이크로소프트[서버(데이터센터)] – 슈퍼컴퓨터

– 마이크로소프트 애저 클라우드 VM : ‘ND H100 v5 VM’

– 싱글 H100 GPU(80GB HBM3 메모리 탑재)

– 멀티 H100 GPU(NVSwitch + NV-Link) : 8개 GPU 연결

– 멀티 H100 GPU & ‘엔비디아 퀀텀-2 CX7 인피니밴드’ : ND v5 VM(100대), H100 GPU(1,000개)

☞ 마이크로소프트 애저 VM ‘ND H100 v5 VM’ 사양

1. 서버(데이터센터) CPU : 인텔 4세대 제온 스케일러블 CPU

2. 서버(데이터센터) GPU : 엔비디아 H100 텐서 코어 GPU * 8개(차세대 NV스위치 및 NV링크 4.0을 통한 상호 연결)

3. 서버(데이터센터) RAM : DDR5 DIMM 4800Mhz의 16채널

4. 네트워크 및 대역폭

① GPU 대역폭(엔비디아 퀀텀-2 CX7 인피니밴드 – 400Gb/s)

② VM 대역폭(VM당 3.2TB/s의 비차단 Fat-Tree 네트워크)

③ NV스위치 및 NV링크 4.0(이전 3.6 포함)의 각 VM 내 8개 로컬 GPU 간의 ‘TB/s’ 이중 대역폭

▶ 마이크로소프트[서버(데이터센터) GPU – 기밀 컴퓨팅]

– 전체 수명 주기동안 데이터를 보호

☞ 기존 암호화

– 미사용 데이터 암호화: Blob Storage, 데이터베이스 등에 저장될 때의 비활성 데이터

– 전송 중 데이터 : 비신뢰성의 ‘공용 또는 사설 네트워크’ 사이에 흐르는 데이터

☞ 기밀 컴퓨팅

– 사용 중인 데이터 관리(보호 / 암호) : RAM에 있는 동안의 계산 중에 사용 중인 데이터

▶ 마이크로소프트[서버(데이터센터) GPU – AMD Instinct(인스팅트) MI300X]

– 서버(데이터센터) GPU 신규 VM : ND MI300X V5

– 싱글 GPU(인스팅트 MI300X) : HBM3 메모리(192GB) → LLM(대형 언어 모델) 실행이 가능함

– 멀티 GPU(인스팅트 GPU 플랫폼 – 8개 MI300X GPU) : 인피니티 패브릭 3.0(로컬 GPU 간)

– 멀티 GPU(인스팅트 GPU 플랫폼 – 8개 MI300X GPU) & ‘엔비디아 퀀텀-2 인피니밴드’ : GPU당 ‘400 기가비트’ 전용 링크

☞ 서버(데이터센터) GPU(신규) 제원 – “AMD Instinct(인스팅트) MI300X(Together We Advance_Advancing AI 컨퍼런스)”

1. AMD Instinct(인스팅트) MI300X 서버(데이터센터) GPU

– 3rd CDNA “서버(데이터센터) GPU 마이크로아키텍처

– “생성-AI(인공지능)”의 발전에 특화된 GPU

– 트랜지스터 : 1530억개

– 제조공정 : 5nm & 6nm

– XCD(가속기 컴플렉스 다이) CU(3rd CDNA) : 최대 304개 탑재(코어 개수 : 64개 기준 19,456개)

– I/O 다이 : 최대 4개 탑재[AMD 인피니티 캐시 메모리(256MB) 탑재]

– 메모리(HBM3) : 192GB(대역폭 : 5.3TB/s)

※ AMD Instinct(인스팅트) MI300X GPU 가속기 – “생성-AI(인공지능)”의 리더쉽

2. AMD Instinct(인스팅트) GPU 플랫폼

– 서버(데이터센터) GPU : AMD Instinct(인스팅트) MI300X * 8개

– 메모리 용량의 리더쉽 : 192GB * 8개 : 최대 1.5TB

– 4세대 AMD 인피니티 패브릭

– 산업 표준 디자인(OCP 인프라스트럭쳐)

[마이크로소프트 – 커스텀 AI(인공지능)]

▶ 마이크로소프트[커스텀 AI(인공지능) – 비디오 가속기] – 팀즈 통화

– 실행 순서 : 재생 → 디코딩 → 사전 처리 → 훈련 & 추론 → 인코딩 → 사용자 단말기

– 실행 순서 부문(GPU) : ‘사전 처리 → 훈련 & 추론’ ☞ 값이 매우 비싸고, 많은 전력을 소모함

– 효율성 기반 트랜스코딩 : 저지연 대기 시간 범위 & 극도로 낮은 전력으로 사용

– 커스텀 비디오 가속기 : AI(인공지능)의 디코딩 처리 부문 양쪽에 디코딩 & 인코딩을 모두 처리 설계

– 비디오 스트림 위에 AI(인공지능)으로 처리.

▶ 마이크로소프트(벤치마크) – 비디오 가속기

– 경쟁사 GPU(가속기) : 엔비디아 H100 GPU(왼쪽) vs 마이크로소프트 Azure-MAIA(애저 마이아 – 오른쪽)

– 벤치마크 방식 : FFMpeg 비디오 스트림 처리과정 동안의 에너지 소모량 측정(초당, 와트당 프레임)

– 결과 : [왼쪽 : 35 FPS] / [오른쪽 : 150(168) FPS] ☞ 커스텀 반도체 사용 시 최대 5배 효율성이 상승함

▶ 마이크로소프트[H/W – 커스텀 AI(인공지능) 가속기]

– Azure MAIA(애저 마이아) 커스텀 AI(인공지능) 가속기(Azure MAIA 100)

– AI(인공지능) 가속기 제조공정 : 5nm

– AI(인공지능) 가속기 탑재 트랜지스터 : 1,050억개

– 애저 클라우드의 LLM(대형 언어모델)의 교육 & 추론에 특화 및 최적화

– 서버 랙, 반도체, S/W = 통합 시스템

– ‘클라우드 AI(인공지능’의 워크로드 특화로 설계

※ 마이크로소프트의 Azure MAIA ‘통합 SoC’ 종합 설계 장비 실물을 공개하였습니다!

[마이크로소프트 – S/W]

▶ 마이크로소프트[S/W – Azure MAIA(애저 마이아) S/W 스택]

☞ 구성 요소

① 모델 & 애플리케이션

② AI(인공지능) 프레임워크 : (예시)PyTorch, ONNX 런타임

③ MAIA SDK : 프로그래밍 모델(MAIA API, 트리톤), 컴파일러(트리톤, ONNX 그래프, MAIA 코어), 개발자 도구(프로파일러, 디버거, 모니터링), 라이브러리(기본 & 융합 커널, 컬렉티브), 런타임

④ MAIA AI(인공지능) 가속기

▶ 마이크로소프트[S/W 스택(비전) – H/W 등급 ‘AI(인공지능)’ 개발의 전반적 관점]

– 모델 & 애플리케이션

– AI(인공지능) 프레임워크 : (예시)PyTorch, ONNX 런타임

– 커스텀 커널 : 다양한 ‘AI(가속기, GPU) H/W’ 과제는 커스텀 커널을 작성[AI(인공지능)을 최적화하기 위해서 호출]

– Triton(트리톤) 프로젝트 : OpenAI와 파트너쉽 체결(H/W 추상화 및 도메인별 언어로 커널 개발 지원) → 효율적 방법으로 CUDA로 컴파일

▶ 커널 라이브러리

– 엔비디아 GPU[Compute Unified Device Architecture(CUDA)]

– AMD 인스팅트 GPU[Radeon Open Compute platform(ROCm)]

– 마이크로소프트 Azure-MAIA(애저-마이아) AI 가속기(MAIA API)