하드웨어 GPU VRAM 끌어올리는 방법 문의
2023.06.15 14:12
안녕하세요..
그래픽 카드 VRAM관련 고수분께 여쭈어 봅니다.
데이터 분석을 위해 그래픽 VRAM이 현재보다 높게 필요하다고 하는데
현재 A5000 그래픽카드이며 GPU VRAM 전용 24기가로 나옵니다.
전체 메모리 89기가, 공유 64기가 이렇게 있는데
담당자가 24기가로 현재 부족하다고하여 VRAM 성능을 높일수 있는 방법이 없을지
전체 메모리등을 땡겨올수 없는지 궁금합니다.
예로 일반 메모리는 하드디스크를 가상메모리로 잡을수 있던데,
일반메모리 영역이나 하드 영역을 GPU VRAM 으로 땡겨올수 는 없을까요?
인터넷 검색하니 레지나 씨모스 등 바꿀수 있지만, 이건 그냥 제약 조건 넘기는 정도?
이고 실제 효과는 없다고 되어있어서
혹시나 윈포에 많은 고수님께 한번 문의 드려봅니다.
긴글 읽어주셔서 감사합니다.
댓글 [4]
-
DarknessAngel 2023.06.15 17:57
-
CraXicS 2023.06.15 22:03
간단히, Batchsize를 줄이거나, Mixed-precision(AMP)를 사용해서 VRAM 사용량을 줄일 수 있습니다.
-
메리아 2023.06.15 22:52
애초에 글카 VRAM과 시스템 DRAM은 용도와 기능부분에서 크게 다릅니다.
24GB VRAM이 부족하면 알아서 맞춰 쓰던가 병렬로 여러대 돌릴 생각을 해야지, 시스템에서 땡겨올수는 없죠.
애초에 CPU를 안거치고 하려고 글카로 넘기는건데 시스템에서 땡겨오면 CPU 거쳐야하는데 어불성설입니다.
참고로 어디서 봤는데 stable diffusion인가 모르겠는데
여기서 평범한 수준의 글카에서 4초 컷 찍던 출력이 CPU로만 했더니 6분인가 걸렸다고 하는거 본거 같네요.
이게 단순히 성능의 문제가 아니라 기능의 차이 문제라서
설사 CPU를 안거치고 하더라도 DRAM을 끌어와서 할건 아닙니다.
GPU는 기본적으로 작은걸 동시에 실행하는 방식이고
CPU는 기본적으로 뛰어나고 큰걸 혼자서 하는 방식인데
딥러닝의 행렬연산이 바로 GPU 방식에 바로 적용해서 써먹기 좋은 방식이라 애용되는겁니다.
즉, VRAM 또한 GPU의 유닛에 매핑되어서 맞춰 움직여야하는데 GPU 유닛과 DRAM 매핑이 될리가 없겠죠....
아무튼 입출력 및 모델 크기를 줄이던가, 배치를 줄이던가
아니면 여러대로 병렬작업하는 방법을 고려하는게 좋을듯 하네요.
-
ThinkAbout 2023.06.16 01:13
답변들 감사합니다
누군가 가능성을 애기해서 혹시나 방법이 있을까하고 찾아봤지만 방법을 찾기 어려워 혹시나하고 글을 남겨봤습니다
감사합니다.
결론만 말해서 없어요
시스템램 당겨서 그런 작업에 쓰진 못합니다 (모델을 좀 더 저용량 쓰시던지, 학습이라면 데이터 정확도를 내리세요)
애초에 24기가로 모잘란 시점에서 좀 손 보는게 나아보입니다