AI Infrastructure

AI Infrastructure trong AI Stack là layer cung cấp tài nguyên phần cứng, phần mềm và hệ thống để vận hành, huấn luyện và triển khai các mô hình AI. Nhiệm vụ chính của layer này là cung cấp compute (CPU/GPU), volume, network, security và orchestration cho toàn bộ AI workload.

Các thành phần chính của AI Infrastructure bao gồm:

Thành phần

Mô tả

VKS

Orchestration cho toàn bộ AI workload (training, inference, pipeline, autoscaling)

OpenSearch Cluster Database

PostgreSQL Database

Vector database dùng cho semantic search, RAG, lưu trữ embedding, metadata AI,..

Object Storage

Lưu trữ dữ liệu huấn luyện, model repository,...

NVIDIA GPU

High Performance Compute