Data Manager

Data Manager

• Hugging Face 주요 메서드 지원(SDK 지원).
  사용자 컴퓨터에 데이터를 다운받은 후, MLXP 에 업로드하는게 아니라,
  Hugging Face에서 MLXP로 바로 다운로드가 가능합니다.

• 업로드한 데이터셋 Workspace 내 서로 다른 프로젝트에서 참조 가능

• UI에서는 목록 및 상세정보만 조회가능

• 업로드, 삭제 등 기타 작업은 SDK/CLI을 사용

일반적인 Dataset 사용 Route

1. Data Manager에 Raw Dataset 저장. (이때 Hugging Face InterFace 사용가능)

2. DDN Storage에 Raw Dataset을 임시저장.

3. DDN Storage의 Raw Dataset 전처리를 진행하고, 전처리된 Dataset을 DDN에 저장.

4. 최종적으로 전처리 프로세스이 정립이 되면, 최종 Dataset은 DDN에 저장.

5. 임시 저장된 Raw Dataset은 DDN에서 삭제.

• Data Manager에서 Streaming하여 전처리 후 output을 DDN에 저장할 수 있지만,
  불안정하고 효율이 좋지않아 권장하지 않습니다.

• 전처리된 데이터가 Data Manager에 있어도, DDN을 거쳐 Pod로 전달하는걸 권장하고 있습니다.