출처 : https://www.sequoiacap.com/article/generative-ai-act-two/
The Generative AI Infrastructure Stack
The Generative AI Infrastructure Stack은 생성형 AI 모델의 개발, 배포, 모니터링 및 운영을 위한 다양한 도구와 플랫폼을 체계적으로 정리한 인프라 맵입니다. 이 스택은 AI 모델을 성공적으로 운영하기 위해 필요한 핵심 기능들을 제공하는 도구들을 카테고리별로 나누고 있으며, 개발자와 기업이 AI 관련 워크플로우를 효율적으로 관리하고 확장하는 데 필요한 인프라를 제공합니다.
1. Production Monitoring & Observability (프로덕션 모니터링 및 가시성)
이 카테고리는 AI 모델이 운영되는 동안 성능을 모니터링하고 경고를 설정하며, 데이터와 애플리케이션의 흐름을 관찰하는 데 사용됩니다.
주요 툴
- LLM Ops:
- LangSmith: LangChain 기반의 모델 운영 도구
- PromptLayer: 프롬프트 관리를 위한 도구
- Observability, Monitoring, Alerting (가시성, 모니터링, 알림):
- User Analytics (사용자 분석):
- Aquarium: 데이터와 사용자 분석 도구
- Firewalls (방화벽):
- Arthur Shield: AI 모델 보안 및 방화벽 제공
- Robust Intelligence: AI 보안을 위한 방화벽 및 보호 도구
2. Apps & Workflows (애플리케이션 및 워크플로우)
이 카테고리는 생성형 AI 애플리케이션을 개발하고 배포하는 데 필요한 워크플로우 관리 및 시각화 도구를 제공합니다.
주요 툴
- Retool: 데이터 기반 애플리케이션을 쉽게 만들 수 있는 플랫폼
- Streamlit: 데이터 애플리케이션을 위한 파이썬 라이브러리
- Gradio: AI 모델의 사용자 인터페이스를 간편하게 제작하는 도구
3. Developer Tools/Infra (개발자 도구/인프라)
AI 개발자들이 모델을 개발하고 데이터 관리를 할 수 있도록 돕는 도구들이 포함되어 있습니다. 데이터 관리 및 벡터 데이터베이스 등 중요한 개발 인프라를 제공합니다.
주요 툴
- Application Frameworks (애플리케이션 프레임워크):
- Data Management (데이터 관리):
- MindsDB: AI 기반의 데이터베이스 분석 도구
- LlamaIndex: LLM과의 데이터 연결을 쉽게 해주는 도구
- Neum AI: 비구조화된 데이터 관리 솔루션
- Vector Databases (벡터 데이터베이스):
4. Model Tuning (모델 튜닝)
이 카테고리는 AI 모델의 성능을 향상시키기 위해 모델을 훈련하고 미세 조정하는 도구를 제공합니다. 또한 데이터 라벨링 도구와 합성 데이터를 통해 학습 데이터를 준비하는 과정도 포함됩니다.
주요 툴
- Model Training & Fine Tuning (모델 훈련 및 미세 조정):
- Weights & Biases: AI 연구의 협업 및 모델 성능 모니터링 도구
- Amazon SageMaker: 모델 훈련과 배포를 위한 AWS의 도구
- Hugging Face: 대규모 언어 모델 및 오픈 소스 AI 플랫폼
- Data Labeling (데이터 라벨링):
- Synthetic Data (합성 데이터):
- Gretel: 합성 데이터 생성 도구
5. Compute & Inference (컴퓨팅 및 추론)
이 카테고리는 AI 모델이 훈련되고 추론되는 환경을 위한 컴퓨팅 리소스를 제공합니다. GPU 공급업체와 PaaS(Platform as a Service) 제공업체를 포함합니다.
주요 툴
- GPU Supply (GPU 공급):
- CoreWeave: GPU 클라우드 컴퓨팅 서비스
- Lambda: AI 연구를 위한 고성능 GPU 제공업체
- AWS: 클라우드 기반의 컴퓨팅 리소스 제공
- Google Cloud: 클라우드 기반 AI 서비스 제공
- Azure: 마이크로소프트의 클라우드 컴퓨팅 플랫폼
- PAAS (Platform as a Service):
6. Foundation Models (기초 모델)
기초 모델은 다양한 작업에 대해 훈련된 대규모 AI 모델을 의미합니다. 이 카테고리에는 텍스트, 이미지, 오디오, 코드 등 여러 가지 형태의 생성형 AI 모델이 포함됩니다.
주요 툴
- Text (텍스트):
- GPT-4: OpenAI의 대규모 언어 모델
- Claude: Anthropic이 개발한 언어 모델
- Llama 2: Meta가 개발한 언어 모델
- Hugging Face: 다양한 언어 모델을 제공하는 플랫폼
- Image (이미지):
- MidJourney: 텍스트에서 이미지를 생성하는 AI
- Stable Diffusion: 오픈 소스 이미지 생성 AI
- Audio (오디오):
- ElevenLabs: AI 기반 음성 합성 및 변조 도구
- Resemble AI: 사용자 맞춤형 음성 생성 도구
- WellSaid: AI 기반 음성 합성 도구
- Code (코드):
- Video (비디오):
- Stable Diffusion: 이미지 및 비디오 생성 AI
- 3D:
- Intel: 3D 및 고성능 컴퓨팅 솔루션
- NVIDIA: GPU 기반 3D 모델링 및 AI 솔루션
- Luma AI(https://lumalabs.ai): Luma AI는 3D 모델링 및 AI 기반 비디오 생성을 위한 플랫폼입니다. Luma AI는 현실 세계의 장면을 캡처하고 이를 기반으로 고품질의 3D 모델을 자동으로 생성할 수 있게 해줍니다. 이러한 3D 모델은 다양한 애플리케이션에서 활용될 수 있으며, 특히 증강 현실(AR) 및 가상 현실(VR) 콘텐츠 제작에 유용합니다.
결론
The Generative AI Infrastructure Stack은 생성형 AI 애플리케이션의 전반적인 개발 및 운영을 지원하는 필수적인 도구들을 체계적으로 나열한 인프라 지도입니다. 이 스택을 통해 개발자는 AI 모델의 개발, 훈련, 배포, 모니터링, 성능 최적화까지 모든 단계를 관리할 수 있으며, 각 툴은 그 목적에 맞게 잘 설계되어 있습니다.
Foundation Models는 이미 텍스트, 이미지, 오디오, 3D 등 다양한 도메인에서 활용되고 있으며, 이와 관련된 플랫폼들은 점점 더 중요해지고 있습니다. Developer Tools/Infra는 데이터 관리와 모델 튜닝, 그리고 컴퓨팅 리소스 공급을 지원하여 개발자가 보다 효율적으로 AI 프로젝트를 진행할 수 있게 합니다.
또한 Production Monitoring & Observability 카테고리의 툴들은 운영 중인 AI 시스템이 안정적이고 신뢰성 있게 동작하는 것을 보장합니다. Apps & Workflows 카테고리는 다양한 애플리케이션을 신속히 개발하고 배포할 수 있게 도와 AI의 비즈니스적 가치를 극대화합니다.
앞으로도 AI 인프라 스택의 발전은 더 많은 기업들이 AI 기술을 적용하고 그 가치를 실현하는 데 중요한 역할을 할 것으로 기대됩니다.
이와 같은 맵을 통해 각 기업과 개발자는 자신의 비즈니스 요구에 맞는 도구들을 선택해 사용함으로써 효율적이고 강력한 AI 인프라를 구축할 수 있습니다.
'IT > AI' 카테고리의 다른 글
| Cursor AI - AI가 코딩하는 신묘한 세계 (6) | 2024.11.01 |
|---|---|
| 가장 핫한 다섯 가지 주요 AI 이미지 생성 도구를 공식 사이트와 라이선스 정보와 함께 비교 (1) | 2024.10.31 |
| 허깅페이스[huggingface] (9) | 2024.10.25 |
| 생성형 AI(Generative AI)의 다양한 솔루션 시각화 1 (15) | 2024.10.23 |