전체 글 37개의 글 AI 인프라/GPU2026. 11. 17. 행렬곱 실험: 비동기 실행부터 FP16·BF16까지 지난 글에서는 GPU 메모리를 텐서로 채우기만 했습니다. 이번에는 GPU에 실제로 계산을 시켰습니다. 행렬곱을 돌리면서 시간과 메모리를 재고, FP32 대신 원소 하나가 2바이트인 FP16·BF16을 쓰면 무엇이 달라지는지 봤습니다. 시간을 잴 때 기다려야 하는 이유N=16,384인 FP32 행렬 a(1 GiB)로 b = a @ a를 세 번 했습니다. 회차마다 그냥 잰 시간과, torch.cuda.synchronize()로 기다린 뒤 잰 시간을 같이 찍었습니다.import timeimport torchN = 16384a = torch.randn(N, N, device="cuda")torch.cuda.synchronize()# 1부: 같은 행렬곱을 세 번, synchronize 전후 시간을 따로 잰다for.. AI 인프라/GPU2026. 11. 17. RTX 3060 12GB에 텐서는 몇 GB까지 들어갈까 (GPU 메모리 OOM 실험) 지난 글에서는 PyTorch 버전과 GPU 세대가 맞지 않을 때 무슨 일이 생기는지 실험했습니다. 이번에는 GPU 메모리를 일부러 가득 채워서 CUDA out of memory(OOM)를 내 봤습니다.12GB 카드니까 1GB짜리 텐서가 12개쯤 들어갈 거라고 생각했습니다. 실제로는 11개까지만 들어갔습니다. 이 글은 12번째 텐서가 왜 들어가지 못했는지, 그리고 텐서를 지운 뒤 그 메모리가 어떻게 되는지 따라가 본 기록입니다.실험 환경은 지난 글과 같습니다.항목값GPUGeForce RTX 3060 12GB드라이버595.99.02PyTorch2.15.0+cu132 (CUDA 런타임 13.2)먼저 단위부터GPU 메모리 숫자를 보다 보면 GB, GiB, MiB가 섞여 나옵니다. GB는 10⁹바이트이고 GiB는.. AI 인프라/GPU2026. 11. 14. PyTorch 1.6은 왜 RTX 3060에서 9분 동안 멈췄을까 (cubin, PTX, JIT 컴파일 실험) 지난 글에서 집에 있던 RTX 3060 PC를 GPU 서버로 만들었습니다. 이번에는 이 서버에서 GPU와 CUDA 버전이 어떻게 맞물려 돌아가는지 직접 실험해 봤습니다.원래 목표는 no kernel image is available for execution on the device 오류를 일부러 내 보는 것이었습니다. GPU 세대와 PyTorch 빌드가 맞지 않을 때 자주 나는 오류라서, 실무에서 만나기 전에 한 번 겪어 보고 싶었습니다.RTX 3060을 지원하지 않는 옛 PyTorch를 띄우면 당연히 오류가 날 거라고 생각했습니다. 그런데 오류는 나지 않았고, 9분 동안 아무 출력 없이 멈춰 있다가 성공했습니다. 이 글은 그 9분이 어디서 나왔는지 따라가 본 기록입니다.GPU 소프트웨어 스택 구성PyT.. AI 인프라/GPU2026. 11. 14. 집에 있던 PC를 GPU 서버로 만들기 요즘 AI 인프라를 공부하고 있습니다. 강의 실습은 대부분 클라우드 GPU를 빌려서 하는데, 마침 집에 안 쓰는 RTX 3060 PC가 있어서 GPU 서버로 바꿔 직접 써 보기로 했습니다.목표는 맥에서 SSH로 접속해 컨테이너 안에서 nvidia-smi를 띄우는 것이었습니다.서버 사양항목내용CPURyzen 5 5600X (6코어 12스레드)RAM16GBGPUGeForce RTX 3060 12GB (Ampere 세대, compute capability 8.6)저장장치NVMe 1TBOSUbuntu Server 26.04.1 LTS, 커널 7.0진행 순서는 다음과 같습니다.OS 설치 → SSH 키 인증 → 방화벽 → Tailscale → 공인 IP SSH 차단 → NVIDIA 드라이버 → Docker와 NVI.. AI 인프라/GPU2026. 8. 5. GPU 컨테이너에서 --gpus all이 하는 일: 요청과 주입은 다른 단계 들어가며7월 중순, CUDA 컨테이너를 띄우면 나오는 NVIDIA Driver was not detected 경고가 정확히 어느 계층이 없다는 뜻인지 스택을 그려 가며 정리했습니다. 결론은 커널 드라이버 모듈은 호스트에 남고, 사용자 공간의 드라이버 라이브러리와 /dev/nvidia*는 NVIDIA Container Toolkit이 컨테이너에 연결해 준다는 것이었습니다. 그런데 그 정리에는 빈칸이 하나 있었습니다. 언제 연결되는지, 즉 docker run --gpus all을 입력한 순간부터 컨테이너 안에서 nvidia-smi가 실행되기까지 실제로 어떤 순서로 일이 일어나는지가 빠져 있었습니다. 이 글은 그 빈칸을 채운 기록입니다. 그 사이에 있었던 일도 하나 남깁니다. 그 정리 이후 20일 동안 커밋이.. AI 인프라/K8S2026. 7. 22. HolmesGPT와 Robusta로 EKS 알림 자동 조사 파이프라인 구축하기 들어가며운영 중인 EKS 클러스터에서 Prometheus 알림(alert)이 오면 파드 상태, 로그, 이벤트, 메트릭 그래프를 차례로 확인했습니다. 알림 하나에 10~20분이 걸렸고, 같은 확인 작업이 알림마다 반복됐습니다. 이 반복 작업을 AI에게 맡기려고 HolmesGPT를 도입했습니다. 목표는 알림이 오면 사람이 보기 전에 AI가 먼저 클러스터를 조사하고, 그 결과를 보고서로 Slack에 올리는 것입니다. 파이프라인은 완성했지만 구축 과정에서 버그를 연달아 만나 이를 고치는 데 시간이 더 들었습니다. 이 글에서는 파이프라인 구성, 구축하면서 만난 문제 세 가지와 해결 방법, 운영하면서 조정한 설정을 정리합니다.HolmesGPT와 RobustaHolmesGPT는 Robusta에서 만든 오픈소스 장애 .. 오늘의 공부2026. 7. 12. 단일 스테이지 Docker 이미지를 멀티스테이지로 바꾸기 들어가며지난 글에서 CUDA 베이스 이미지에 train_mnist.py를 올리는 Dockerfile을 완성했습니다. 빌드 에러 3개를 순서대로 해결하고 나니 이미지는 잘 실행됐지만 크기가 문제였습니다. docker images로 확인한 크기는 3.22GB였습니다. 이번 목표는 이 이미지를 멀티스테이지로 줄이는 것이었는데, 실제로는 크기를 줄이는 것보다 사고를 수습하는 데 시간이 더 들었습니다. 그 과정에서 venv를 COPY하면 무엇이 옮겨지고 무엇이 옮겨지지 않는지, 빌드했다는 것과 검증했다는 것이 왜 다른지를 확인했습니다.멀티스테이지 빌드와 venv를 통째로 옮기는 방식단일 스테이지 Dockerfile은 apt-get install로 빌드 도구를 설치하고, pip install로 torch를 설치한 .. 오늘의 공부2026. 7. 11. Dockerfile 빌드 레이어 캐시를 직접 확인해 보기 들어가며지난 글에서 이미지, 컨테이너, 볼륨을 자료 없이 기억만으로 정리했고, 스스로도 확신이 서지 않는 지점 세 개를 남겼습니다. 그중 두 번째가 레이어 캐시였습니다. "변경된 부분이 기존 레이어에 쌓인다"고 적어 두었지만, 레이어 하나가 계속 수정되는 것인지 그때마다 새 레이어가 생기는 것인지 말로는 설명하지 못했습니다. 이 글은 그 지점을 실제로 Dockerfile을 쓰고 docker build를 여러 번 실행하며 확인한 기록입니다. 나머지 두 가지, 즉 컨테이너 실행이 정말 이미지를 복사하는 것인지와 볼륨이라고 알고 있던 것이 정확히 무엇인지는 아직 확인하지 못해서 글 끝에 다음 확인 목록으로 남깁니다. 목표는 앞서 만든 MNIST 학습 스크립트(train_mnist.py)를 CUDA 베이스 이미.. 이전 1 2 3 4 5 다음