shell/openstack-cleanup-orphaned-stacks.sh

   1 #!/bin/bash -l
   2 # SPDX-License-Identifier: EPL-1.0
   3 ##############################################################################
   4 # Copyright (c) 2017, 2018 The Linux Foundation and others.
   5 #
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Eclipse Public License v1.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.eclipse.org/legal/epl-v10.html
  10 ##############################################################################
  11 # Scans OpenStack for orphaned stacks
  12 echo "---> Orphaned stacks"
  13
  14 os_cloud="${OS_CLOUD:-vex}"
  15 jenkins_urls="${JENKINS_URLS:-}"
  16
  17 stack_in_jenkins() {
  18     # Usage: check_stack_in_jenkins STACK_NAME JENKINS_URL [JENKINS_URL...]
  19     # Returns: 0 If stack is in Jenkins and 1 if stack is not in Jenkins.
  20
  21     STACK_NAME="${1}"
  22
  23     builds=()
  24     for jenkins in "${@:2}"; do
  25         PARAMS="tree=computer[executors[currentExecutable[url]],"
  26         PARAMS=$PARAMS"oneOffExecutors[currentExecutable[url]]]"
  27         PARAMS=$PARAMS"&xpath=//url&wrapper=builds"
  28         JENKINS_URL="$jenkins/computer/api/json?$PARAMS"
  29         resp=$(curl -s -w "\\n\\n%{http_code}" --globoff -H "Content-Type:application/json" "$JENKINS_URL")
  30         json_data=$(echo "$resp" | head -n1)
  31         status=$(echo "$resp" | awk 'END {print $NF}')
  32
  33         if [ "$status" != 200 ]; then
  34             >&2 echo "ERROR: Failed to fetch data from $JENKINS_URL with status code $status"
  35             >&2 echo "$resp"
  36             exit 1
  37         fi
  38
  39         if [[ "${jenkins}" == *"jenkins."*".org" ]] || [[ "${jenkins}" == *"jenkins."*".io" ]]; then
  40             silo="production"
  41         else
  42             silo=$(echo "$jenkins" | sed 's/\/*$//' | awk -F'/' '{print $NF}')
  43         fi
  44         export silo
  45         # We purposely want to wordsplit here to combine the arrays
  46         # shellcheck disable=SC2206,SC2207
  47         builds=(${builds[@]} $(echo "$json_data" | \
  48             jq -r '.computer[].executors[].currentExecutable.url' \
  49             | grep -v null | awk -F'/' '{print ENVIRON["silo"] "-" $6 "-" $7}')
  50         )
  51     done
  52
  53     if [[ "${builds[*]}" =~ $STACK_NAME ]]; then
  54         return 0
  55     fi
  56
  57     return 1
  58 }
  59 set -x
  60 #########################
  61 ## FETCH ACTIVE BUILDS ##
  62 #########################
  63 # Fetch COE cluster list before fetching active stacks. K8s cluster creates
  64 # stack that does not match JOB_NAME, therefore ignore them while processing
  65 # orphaned stacks and handle them separatly.
  66 # The stack naming scheme is limited in the source code to take only first 20
  67 # chars from the JOB_NAME, and the rest is randomly generated value for
  68 # uniqueness:
  69 # https://github.com/openstack/magnum/blob/master/magnum/drivers/heat/driver.py#L202-L212
  70 mapfile -t OS_COE_CLUSTERS_ID < <(openstack --os-cloud "${os_cloud}" coe cluster list \
  71             -f value -c "uuid" -c "name" \
  72             | grep -E '(DELETE_FAILED|UNKNOWN|UNHEALTHY)' | awk '{print $1}')
  73
  74 echo "-----> Active clusters -> stacks"
  75 # mapfile -t OS_COE_STACKS_ID
  76 OS_COE_STACKS=()
  77 for cluster_id in "${OS_COE_CLUSTERS_ID[@]}"; do
  78     # find active stacks id associated with the COE cluster
  79     stack_id=$(openstack --os-cloud "${os_cloud}" coe cluster show "${cluster_id}" \
  80                 -f value -c "stack_id")
  81     # get the stack name associated with the COE cluster
  82     stack_name=$(openstack --os-cloud "${os_cloud}" stack show "${stack_id}" \
  83                 -f value -c "stack_name")
  84     OS_COE_STACKS+=("${stack_id}")
  85     echo "clusterid:${cluster_id} -> stackid:${stack_id} stack_name: ${stack_name}"
  86 done
  87
  88 if [[ ${#OS_COE_STACKS[@]} -gt "0" ]]; then
  89     echo "${OS_COE_STACKS[*]}"
  90     echo "-----> Active COE cluster stacks"
  91     for cstack in "${OS_COE_STACKS[@]}"; do
  92         echo "$cstack"
  93     done
  94 fi
  95
  96 # Fetch stack list before fetching active builds to minimize race condition
  97 # where we might be try to delete stacks while jobs are trying to start
  98 mapfile -t OS_STACKS < <(openstack --os-cloud "$os_cloud" stack list \
  99             -f value -c "Stack Name" -c "Stack Status" \
 100             --property "stack_status=CREATE_COMPLETE" \
 101             --property "stack_status=DELETE_FAILED" \
 102             --property "stack_status=CREATE_FAILED" \
 103             | awk '{print $1}')
 104
 105 echo "-----> Active stacks"
 106 for stack in "${OS_STACKS[@]}"; do
 107     echo "$stack"
 108 done
 109
 110
 111 ##########################
 112 ## DELETE UNUSED STACKS ##
 113 ##########################
 114 echo "-----> Delete orphaned stacks"
 115
 116 # Search for stacks not in use by any active Jenkins systems and remove them.
 117 for STACK_NAME in "${OS_STACKS[@]}"; do
 118     # Check for COE cluster stack is present
 119     # shellcheck disable=SC2153,SC2086
 120     if [[ ${#OS_COE_STACKS[@]} -gt "0" ]] && [[ ${OS_COE_STACKS[*]} =~ ${STACK_NAME} ]]; then
 121         # Do not delete a stack linked to COE cluster, handle them separatly.
 122         continue
 123     # jenkins_urls intentially needs globbing to be passed a separate params.
 124     elif stack_in_jenkins "$STACK_NAME" $jenkins_urls; then
 125         # No need to delete stacks if there exists an active build for them
 126         continue
 127     else
 128         echo "Deleting orphaned stack: ${STACK_NAME}"
 129         lftools openstack --os-cloud "${os_cloud}" stack delete --force "${STACK_NAME}"
 130     fi
 131 done