Documentation Index
Fetch the complete documentation index at: https://docs.cloud.vessl.ai/llms.txt
Use this file to discover all available pages before exploring further.
VESSL Cloud의 스토리지
모든 Workspace에는 임시 저장소가 기본으로 있지만, Workspace를 멈추면 데이터가 사라져요. 데이터를 계속 보관하려면 영구 스토리지(Persistent storage)를 사용해야 해요.| 스토리지 타입 | 설명 | 용도 | 마운트 경로 |
|---|---|---|---|
| Cluster storage | 클러스터에 연결된 고가용성 분산 스토리지(CephFS/NVMe). Workspace를 terminate해도 데이터가 유지돼요. | 코드, 가상환경(pip/conda), 데이터셋, 팀 내 데이터 공유 | 사용자 지정 가능 |
| Object storage | S3 기반 POSIX 호환 스토리지. 조직 내 모든 클러스터에서 접근 가능해요. | 대용량 데이터셋, 체크포인트, 클러스터 간 데이터 공유 | /shared (권장) |
| Temporary storage | Workspace에 기본 포함된 임시 공간이에요. | 빠른 임시 작업(멈추면 데이터 삭제) | 다양 |
Cluster storage 사용하기
Cluster storage는 클러스터 내에서 빠르고 영구적인 스토리지를 제공해요. 같은 클러스터의 여러 Workspace에서 동시에 마운트할 수 있어요.
시작하는 방법
- 사용 가능한 볼륨 확인: 사이드바에서 Cluster storage를 클릭하면 팀에 할당된 볼륨을 확인할 수 있어요.
- Workspace에 마운트: Workspace를 만들 때 Storage 단계에서 Cluster storage 볼륨을 선택하세요. 마운트 경로를 지정할 수 있어요(예:
/root또는/data). - 사용하기: Workspace 안에서 마운트 경로로 파일에 접근하세요. 패키지 설치, 체크포인트 저장, 코드 보관 등 모든 데이터가 Workspace를 재시작하거나 terminate해도 유지돼요.
Cluster storage 볼륨은 조직 관리자(Org Admin)만 생성할 수 있어요. 팀에 사용 가능한 Cluster storage가 없다면 조직 관리자에게 설정을 요청해 주세요. 스토리지 관리(관리자)를 참고하세요.
주요 특징
- 클러스터에 종속: 같은 클러스터의 Workspace에서만 마운트할 수 있어요.
- RWX(Read-Write-Many): 여러 Workspace에서 동시에 읽고 쓸 수 있어요.
- 데이터 영속성: Stop, Pause, Terminate 후에도 데이터가 유지돼요.
- 약 150 MB/s 처리량: 대규모 데이터셋 로딩과 모델 체크포인트에 충분한 속도예요.
- 가격: 프로비전된 용량 기준 $0.20/GiB/월. 자세한 내용은 스토리지 가격을 확인하세요.
Object storage 사용하기
Object storage는 조직 내 모든 클러스터에서 공유할 수 있는 S3 기반 스토리지예요.
시작하는 방법
- 볼륨 생성: 사이드바에서 Object storage를 클릭하고 Create new volume을 누르세요. 자세한 내용은 Object storage 볼륨 생성하기를 참고하세요.
- Workspace에 마운트: Workspace를 만들 때 Storage 단계에서 Object storage 볼륨을 선택하세요.
- 사용하기: 권장 마운트 경로인
/shared에서 파일에 접근하세요. 팀과 클러스터 간에 데이터셋, 체크포인트, 아티팩트를 공유할 수 있어요.
Object storage는 Cluster storage보다 느려서 메인 작업공간 경로로 적합하지 않아요.
/root는 VESSL Cloud가 Object storage 마운트 경로로 허용하지 않아서 Workspace 생성이 실패해요. /shared나 다른 별도 경로를 사용해 주세요.주요 특징
- 클러스터 간 접근: 조직 내 모든 클러스터의 Workspace에서 마운트 가능해요.
- RWX(Read-Write-Many): 여러 Workspace에서 동시에 읽고 쓸 수 있어요.
- S3 기반: 안정적이고 확장 가능한 스토리지예요.
- 약 150 MB/s 처리량: 대용량 데이터셋 공유에 적합해요.
- 셀프 서비스: 팀 멤버 누구나 Object storage 볼륨을 생성할 수 있어요.
주요 차이점:
- Object storage: S3 기반, 모든 클러스터에서 접근 가능. 공유 데이터셋, 체크포인트, 클러스터 간 아티팩트 공유에 적합해요.
- Cluster storage: CephFS/NVMe 기반, 특정 클러스터에 종속. 코드, 가상환경, 패키지 설치, 클러스터 내 빠른 영구 스토리지에 적합해요.
어떤 스토리지를 써야 하나요?
| 용도 | 추천 |
|---|---|
| 코드, 가상환경, pip/conda 패키지 | Cluster storage |
| 클러스터 내 대규모 학습 데이터셋 | Cluster storage |
| 여러 클러스터 간 데이터 공유 | Object storage |
| 장기 백업 및 아카이브 | Object storage |
| 빠른 임시 작업(일회성) | Temporary storage |
기존 Workspace volume과 뭐가 달라졌나요?
| 기존 Workspace volume | Cluster storage | |
|---|---|---|
| Terminate 시 데이터 | 삭제됨 | 유지됨 |
| 공유 | 단일 Workspace(RWO, Read-Write-Once) | 여러 Workspace 동시 사용(RWX, Read-Write-Many) |
| 마운트 경로 | /root 고정 | 자유롭게 설정 가능 |
| 가격 | $0.0070/hr(50 GiB당) | $0.20/GiB/월 |
용어 비교
| 구분 | VESSL Cloud 용어 | Kubernetes | 비고 |
|---|---|---|---|
| 클러스터 내 공유 | Cluster storage | CephFS PV/PVC(RWX) | 분산 스토리지, 데이터 영속성 |
| 클러스터 간 공유 | Object storage | S3/NFS PV/PVC(RWX) | 네트워크 파일 공유 |
| 임시용 | Temporary storage | emptyDir | 빠른 속도, 임시 파일 |
