1. Domů
  2. Dokumentace
  3. Dokumentace pro uživatele...
  4. Obecné návody na spouštěn...
  5. Využití /scratch

Využití /scratch

Využití lokálního /scratch

Pokud úloha pracuje s většími soubory a běží na jednom výpočetním uzlu, je vhodné využít prostor /scratch na lokálním disku.
Do spouštěcího skriptu je nutné přidat požadavek na velikost a typ /scratch (defaultně se úloze /scratch nepřiděluje)

#PBS -l select=1:ncpus=8:mem=20gb:scratch_local=50gb

Při spuštění úlohy se na přiděleném uzlu vytvoří adresář

/scratch*/username/job_JobID.meta-pbs.metacentrum.cz

Do tohoto adresáře ukazuje proměnná $SCRATCHDIR.

Pokud se potřebujete do adresáře podívat, musíte se nejdříve přihlásit na přidělený uzel. Přímo z čelního uzlu, ze kterého byla úloha zadána do fronty, adresář není přístupný.

Pozor: Na výpočetních uzlech do adresáře /scratch*/username nelze zapisovat (má práva 555).

Využití lokálního prostoru /scratch znamená pomocí spouštěcího skriptu:

  • nakopírovat vstupní data do $SCRATCHDIR
  • spustit ve $SCRATCHDIR výpočet
  • nakopírovat výstupní data ze $SCRATCHDIR zpátky do pracovního adresáře na /storage/lokalita/, odkud byla úloha spuštěna ($PBS_O_WORKDIR)
  • promazat $SCRATCHDIR – na promazání lze použít nástroj clean_scratch. Stačí do spouštěcího skriptu přidat následující řádky.
trap ‘clean_scratch’ TERM EXIT ... cp results /storage/... || export CLEAN_SCRATCH=false

V lokálním /scratch se soubory automaticky promazávají až za jeden nebo dva týdny.

Typ uzluVelikost /scratch
luna65-95800 GB
luna96-991.7 TB
luna100-1053.4TB
luna201-206800 GB

Využití sdíleného /scratch

Klastry Luna2019, Luna2021 a Luna2022 nemají k dispozici sdílený /scratch. Na výpočetních uzlech lze využívat pouze lokální /scratch nebo uživatelský prostor na lokálním diskovém poli /storage/praha6-fzu/home/username/.