Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Abstract common j-job tasks #1229

Closed
wants to merge 1 commit into from
Closed

Abstract common j-job tasks #1229

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
44 changes: 1 addition & 43 deletions jobs/JGDAS_ATMOS_ANALYSIS_DIAG
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,49 +1,7 @@
#! /usr/bin/env bash

source "${HOMEgfs}/ush/preamble.sh"

##############################################
# make temp directory
##############################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


##############################################
# Determine Job Output Name on System
##############################################
export pid=${pid:-$$}
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile


#############################
# Source relevant config files
#############################
export EXPDIR=${EXPDIR:-${HOMEgfs}/parm/config}
configs="base anal analdiag"
for config in ${configs}; do
. ${EXPDIR}/config.${config}
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
done


##########################################
# Source machine runtime environment
##########################################
. ${HOMEgfs}/env/${machine}.env anal
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
source "${HOMEgfs}/ush/jjob_header.sh" base anal analdiag


##############################################
Expand Down
44 changes: 1 addition & 43 deletions jobs/JGDAS_ATMOS_CHGRES_FORENKF
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,49 +1,7 @@
#! /usr/bin/env bash

source "${HOMEgfs}/ush/preamble.sh"

##############################################
# make temp directory
##############################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


##############################################
# Determine Job Output Name on System
##############################################
export pid=${pid:-$$}
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile


#############################
# Source relevant config files
#############################
export EXPDIR=${EXPDIR:-${HOMEgfs}/parm/config}
configs="base anal echgres"
for config in ${configs}; do
. ${EXPDIR}/config.${config}
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
done


##########################################
# Source machine runtime environment
##########################################
. ${HOMEgfs}/env/${machine}.env anal
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
source "${HOMEgfs}/ush/jjob_header.sh" base anal echgres


##############################################
Expand Down
41 changes: 3 additions & 38 deletions jobs/JGDAS_ATMOS_GEMPAK
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,45 +1,12 @@
#! /usr/bin/env bash

source "${HOMEgfs}/ush/preamble.sh"
source "${HOMEgfs}/ush/jjob_header.sh" base gempak

##########################################################
# make temp directory
##########################################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}

###########################################
# Run setpdy and initialize PDY variables
###########################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY

export pid=${pid:-$$}
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile

#############################
# Source relevant config files
#############################
export EXPDIR=${EXPDIR:-${HOMEgfs}/parm/config}
configs="base gempak"
for config in ${configs}; do
. ${EXPDIR}/config.${config}
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
done

###############################################################
. ${BASE_ENV}/${machine}.env gempak
status=$?
[[ ${status} -ne 0 ]] && exit ${status}
# TODO (#1219) This j-job is not part of the rocoto suite

################################
# Set up the HOME directory
################################
export HOMEgfs=${HOMEgfs:-${PACKAGEROOT}/gfs.${gfs_ver}} # TODO: remove these as they are already defined in config.base
export EXECgfs=${EXECgfs:-${HOMEgfs}/exec}
export PARMgfs=${PARMgfs:-${HOMEgfs}/parm}
export PARMwmo=${PARMwmo:-${HOMEgfs}/parm/wmo}
Expand Down Expand Up @@ -67,8 +34,6 @@ export DBNROOT=${DBNROOT:-${UTILROOT}/fakedbn}
###################################
# Specify NET and RUN Name and model
####################################
export NET=${NET:-gfs}
export RUN=${RUN:-gdas}
export model=${model:-gdas}
export COMPONENT="atmos"

Expand All @@ -83,7 +48,7 @@ if [ ${SENDCOM} = YES ] ; then
fi


# TODO: These actions belong in an ex-script not a j-job
# TODO: These actions belong in an ex-script not a j-job (#1219)
if [ -f ${DATA}/poescript ]; then
rm ${DATA}/poescript
fi
Expand Down
23 changes: 3 additions & 20 deletions jobs/JGDAS_ATMOS_GEMPAK_META_NCDC
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,28 +1,13 @@
#! /usr/bin/env bash

source "${HOMEgfs}/ush/preamble.sh"

############################################
# GDAS GEMPAK META NCDC PRODUCT GENERATION
############################################

##########################################################
# make temp directory
##########################################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}
# TODO (#1222) This j-job is not part of the rocoto

###########################################
# Run setpdy and initialize PDY variables
###########################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY

export pid=${pid:-$$}
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile
source "${HOMEgfs}/ush/preamble.sh"
source "${HOMEgfs}/ush/jjob_header.sh" base gempak

################################
# Set up the HOME directory
Expand All @@ -46,8 +31,6 @@ cp ${FIXgempak}/datatype.tbl datatype.tbl
###################################
# Specify NET and RUN Name and model
####################################
export NET=${NET:-gfs}
export RUN=${RUN:-gdas}
export COMPONENT="atmos"
export MODEL=GDAS
export GRID_NAME=gdas
Expand Down
46 changes: 1 addition & 45 deletions jobs/JGDAS_ATMOS_GLDAS
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,42 +1,7 @@
#! /usr/bin/env bash

source "${HOMEgfs:?}/ush/preamble.sh"

##############################################
# Obtain unique process id (pid) and make temp directory
##############################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p "${DATA}"
cd "${DATA}" || exit 1


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


##############################################
# Determine Job Output Name on System
##############################################
export pid=${pid:-$$}
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile


#############################
# Source relevant config files
#############################
export EXPDIR=${EXPDIR:-${HOMEgfs}/parm/config}
configs="base gldas"
for config in ${configs}; do
. ${EXPDIR}/config.${config}
status=$?
[[ ${status} -ne 0 ]] && exit "${status}"
done

source "${HOMEgfs}/ush/jjob_header.sh" base gldas

if [[ "${cyc:?}" -ne "${gldas_cyc:?}" ]]; then
echo "GLDAS only runs for ${gldas_cyc} cycle; Skip GLDAS step for cycle ${cyc}"
Expand All @@ -51,15 +16,6 @@ if [[ "${CDATE}" -le "$(${NDATE:?} +"${xtime}" "${SDATE:?}")" ]]; then
exit 0
fi

##########################################
# Source machine runtime environment
##########################################
# shellcheck disable=SC1090-SC1091
. "${HOMEgfs}/env/${machine:?}.env" gldas
# shellcheck disable=
status=$?
[[ ${status} -ne 0 ]] && exit "${status}"


##############################################
# Set variables used in the exglobal script
Expand Down
26 changes: 1 addition & 25 deletions jobs/JGDAS_ATMOS_VERFOZN
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -4,36 +4,12 @@
# Set up environment for GDAS Ozone Monitor job
#############################################################
source "${HOMEgfs}/ush/preamble.sh"

###########################################################
# make temp directories
###########################################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


####################################
# Determine Job Output Name on System
####################################
export pid=$$
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile
source "${HOMEgfs}/ush/jjob_header.sh" base vrfy


###############################
# Specify NET, RUN, and COMPONENT name
##############################
export NET=${NET:-gfs}
export RUN=${RUN:-gdas}
export COMPONENT="atmos"

export OZNMON_SUFFIX=${OZNMON_SUFFIX:-${NET}}
Expand Down
30 changes: 1 addition & 29 deletions jobs/JGDAS_ATMOS_VERFRAD
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -4,36 +4,8 @@
# Set up environment for GDAS Radiance Monitor job
#############################################################
source "${HOMEgfs}/ush/preamble.sh"
source "${HOMEgfs}/ush/jjob_header.sh" base vrfy

###########################################################
# make temp directories
###########################################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


####################################
# Determine Job Output Name on System
####################################
export pid=$$
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile


###############################
# Specify NET, RUN, and COMPONENT name
##############################
export NET=${NET:-gfs}
export RUN=${RUN:-gdas}
export COMPONENT="atmos"

export RAD_DATA_IN=${DATA}
Expand Down
30 changes: 1 addition & 29 deletions jobs/JGDAS_ATMOS_VMINMON
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -4,36 +4,8 @@
# GDAS Minimization Monitor (MinMon) job
###########################################################
source "${HOMEgfs}/ush/preamble.sh"
source "${HOMEgfs}/ush/jjob_header.sh" base vrfy

###########################################################
# make temp directories
###########################################################
export DATA=${DATA:-${DATAROOT}/${jobid}}
mkdir -p ${DATA}
cd ${DATA}


##############################################
# Run setpdy and initialize PDY variables
##############################################
export cycle="t${cyc}z"
setpdy.sh
. ./PDY


####################################
# Determine Job Output Name on System
####################################
export pid=$$
export pgmout="OUTPUT.${pid}"
export pgmerr=errfile


###############################
# Specify NET, RUN, and COMPONENT name
##############################
export NET=${NET:-gfs}
export RUN=${RUN:-gdas}
export COMPONENT="atmos"

###########################################################
Expand Down
Loading