shell/openstack-cleanup-orphaned-stacks.sh

   1 #!/bin/bash -l
   2 # SPDX-License-Identifier: EPL-1.0
   3 ##############################################################################
   4 # Copyright (c) 2017, 2018 The Linux Foundation and others.
   5 #
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Eclipse Public License v1.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.eclipse.org/legal/epl-v10.html
  10 ##############################################################################
  11 # Scans OpenStack for orphaned stacks
  12 echo "---> Orphaned stacks"
  13
  14 os_cloud="${OS_CLOUD:-vex}"
  15 jenkins_urls="${JENKINS_URLS:-}"
  16
  17 stack_in_jenkins() {
  18     # Usage: check_stack_in_jenkins STACK_NAME JENKINS_URL [JENKINS_URL...]
  19     # Returns: 0 If stack is in Jenkins and 1 if stack is not in Jenkins.
  20
  21     STACK_NAME="${1}"
  22
  23     builds=()
  24     for jenkins in "${@:2}"; do
  25         JENKINS_URL="$jenkins/computer/api/json?tree=computer[executors[currentExecutable[url]],oneOffExecutors[currentExecutable[url]]]&xpath=//url&wrapper=builds"
  26         resp=$(curl -s -w "\\n\\n%{http_code}" --globoff -H "Content-Type:application/json" "$JENKINS_URL")
  27         json_data=$(echo "$resp" | head -n1)
  28         status=$(echo "$resp" | awk 'END {print $NF}')
  29
  30         if [ "$status" != 200 ]; then
  31             >&2 echo "ERROR: Failed to fetch data from $JENKINS_URL with status code $status"
  32             >&2 echo "$resp"
  33             exit 1
  34         fi
  35
  36         if [[ "${jenkins}" == *"jenkins."*".org" ]] || [[ "${jenkins}" == *"jenkins."*".io" ]]; then
  37             silo="production"
  38         else
  39             silo=$(echo "$jenkins" | sed 's/\/*$//' | awk -F'/' '{print $NF}')
  40         fi
  41         export silo
  42         # We purposely want to wordsplit here to combine the arrays
  43         # shellcheck disable=SC2206,SC2207
  44         builds=(${builds[@]} $(echo "$json_data" | \
  45             jq -r '.computer[].executors[].currentExecutable.url' \
  46             | grep -v null | awk -F'/' '{print ENVIRON["silo"] "-" $6 "-" $7}')
  47         )
  48     done
  49
  50     if [[ "${builds[*]}" =~ $STACK_NAME ]]; then
  51         return 0
  52     fi
  53
  54     return 1
  55 }
  56
  57 #########################
  58 ## FETCH ACTIVE BUILDS ##
  59 #########################
  60 # Fetch stack list before fetching active builds to minimize race condition
  61 # where we might be try to delete stacks while jobs are trying to start
  62
  63 mapfile -t OS_STACKS < <(openstack --os-cloud "$os_cloud" stack list \
  64             -f value -c "Stack Name" -c "Stack Status" \
  65             --property "stack_status=CREATE_COMPLETE" \
  66             --property "stack_status=DELETE_FAILED" \
  67             --property "stack_status=CREATE_FAILED" \
  68             | awk '{print $1}')
  69
  70 echo "-----> Active stacks"
  71 for stack in "${OS_STACKS[@]}"; do
  72     echo "$stack"
  73 done
  74
  75
  76 ##########################
  77 ## DELETE UNUSED STACKS ##
  78 ##########################
  79 echo "-----> Delete orphaned stacks"
  80
  81 # Search for stacks not in use by any active Jenkins systems and remove them.
  82 for STACK_NAME in "${OS_STACKS[@]}"; do
  83     # jenkins_urls intentially needs globbing to be passed a separate params.
  84     # shellcheck disable=SC2153,SC2086
  85     if stack_in_jenkins "$STACK_NAME" $jenkins_urls; then
  86         # No need to delete stacks if there exists an active build for them
  87         continue
  88     else
  89         echo "Deleting orphaned stack: $STACK_NAME"
  90         lftools openstack --os-cloud "$os_cloud" stack delete --force "$STACK_NAME"
  91     fi
  92 done