Feat: Allow use of newer JDKs for Sonar scans
[releng/global-jjb.git] / jenkins-init-scripts / lf-env.sh
index f0341f3..24a7637 100644 (file)
@@ -1,4 +1,5 @@
 #!/usr/bin/no-execute
+# shellcheck shell=bash
 
 # SPDX-License-Identifier: EPL-1.0
 ##############################################################################
 # which accompanies this distribution, and is available at
 # http://www.eclipse.org/legal/epl-v10.html
 ##############################################################################
-
+#
 # A library of functions for LF/Jenkins bash scripts. In the general case, these
 # functions should only use 'local' variables, and should NOT set
 # shell/environment variables. If you want to make a variable available, provide
 # a function that sets the variable: 'function lf_set_foo() {foo=asdf;}'. Any
 # scripts that need access to the variable can call the 'set' function. This
 # keeps the name-space pollution to a minimum.
-
+#
+# This script will be installed in ~jenkins by the Jenkins Init Script when the
+# build agent boots. When the build starts it should already be installed.
+#
 ################################################################################
 #
-# Name:    lf-echo-stderr
+# NAME
+#       lf-echo-stderr
 #
 # SYNOPSIS
 #   source ~/lf-env.sh
 #
 ################################################################################
 
-function lf-echo-stderr() { echo "$@" 1>&2; }
+lf-echo-stderr () {
+    echo "$@" 1>&2
+}
 
 ################################################################################
 #
 # NAME
-#       lf-boolean()
+#       lf-boolean
 #
 # SYNOPSIS
 #   # shellcheck disable=SC1090
@@ -61,8 +68,7 @@ function lf-echo-stderr() { echo "$@" 1>&2; }
 #
 ################################################################################
 
-function lf-boolean()
-{
+lf-boolean () {
     if (( $# != 1 )); then
         echo "ERROR: ${FUNCNAME[0]}() line: ${BASH_LINENO[0]} : Missing Required Argument"
         return 1
@@ -73,9 +79,9 @@ function lf-boolean()
         true)  return 0 ;;
         false) return 1 ;;
         '')
-           lf-echo-stderr "ERROR: ${FUNCNAME[0]}() line:{BASH_LINENO[0]} : A boolean cannot be a empty string" >&2
-           return 2
-           ;;
+            lf-echo-stderr "ERROR: ${FUNCNAME[0]}() line:{BASH_LINENO[0]} : A boolean cannot be a empty string" >&2
+            return 2
+            ;;
         *)
             lf-echo-stderr "ERROR: ${FUNCNAME[0]}() line: ${BASH_LINENO[0]} : Invalid value for a boolean: '$bool'"
             return 2
@@ -86,7 +92,8 @@ function lf-boolean()
 ################################################################################
 #
 # NAME
-#   lf-activate-venv [-p|--python python] [package]...
+#   lf-activate-venv [-p|--python python] [--no-path]
+#                    [--system-site-packages] [package]...
 #
 # SYNOPSIS
 #   # shellcheck disable=SC1090
@@ -102,8 +109,13 @@ function lf-boolean()
 #
 # DESCRIPTION
 #   This function will create a new Python Virtual Environment (venv) and
-#   install the specified packages in the new venv.  The bin directory from the
-#   venv will be prepended to the PATH.
+#   install the specified packages in the new venv.  The venv will be installed
+#   in $lf_venv and by default, the $lf_venv/bin directory will be prepended
+#   to the PATH.
+#
+#   The 'lf_venv' variable will be set so you can directly execute commands
+#   in the venv with: $lf_venv/bin/command. Beware that subsequent calls to
+#   lf-activate-venv() will overwrite 'lf_venv'.
 #
 #   By default all packages are installed with '--upgrade-strategy eager'.
 #   The venv will always contain pip & virtualenv.
@@ -115,9 +127,15 @@ function lf-boolean()
 #       Package                  Version
 #       jenkins-job-builder      $JJB_VERSION
 #
-#   If the --python option is specified, that python executable will be used to
-#   create the venv. The --python option must be in the PATH. The venv will be
-#   located in '/tmp/venv-####'.
+#   If the --python flag is specified, the specified python executable will be
+#   used to create the venv. The --python option must be in the PATH. The venv
+#   will be located in $lf_venv (/tmp/venv-####).
+#
+#   If the --no-path flag is specified, $lf_venv/bin will not be prepended to
+#   the PATH.
+#
+#   If the --system-site-packages flag is specified, the --system-site-packages
+#   flag will be passed to the inital 'pip install' (python3* only).
 #
 # RETURN VALUES
 #   OK: 0
@@ -125,40 +143,44 @@ function lf-boolean()
 #
 ################################################################################
 
-function lf-activate-venv()
-{
-    local lf_tmp_venv
-    lf_tmp_venv=$(mktemp -d /tmp/venv-XXXX)
+lf-activate-venv () {
+    lf_venv=$(mktemp -d /tmp/venv-XXXX)
     local python=python3
     local options
-    options=$(getopt -o 'p:' -l 'python:' -n "${FUNCNAME[0]}" -- "$@" )
+    local set_path=true
+    local install_args=""
+    options=$(getopt -o 'n:p:' -l 'no-path,python:,system-site-packages' -n "${FUNCNAME[0]}" -- "$@" )
     eval set -- "$options"
     while true; do
         case $1 in
-            -p|--python) python=$2; shift 2 ;;
+            -n|--no-path) set_path=false ; shift   ;;
+            -p|--python)  python=$2      ; shift 2 ;;
+            --system-site-packages) install_args="--system-site-packages" ; shift ;;
             --) shift; break ;;
             *)  lf-echo-stderr "${FUNCNAME[0]}(): ERROR: Unknown switch '$1'." ; return 1 ;;
         esac
     done
-     if ! type $python > /dev/null; then
+    if ! type "$python" > /dev/null; then
         lf-echo-stderr "${FUNCNAME[0]}(): ERROR: Unknown Python: $python"
         return 1
     fi
 
-    echo "${FUNCNAME[0]}(): INFO: Creating '$python' venv ($lf_tmp_venv)"
+    echo "${FUNCNAME[0]}(): INFO: Creating $python venv at $lf_venv"
 
     case $python in
-        python2*)
+    python2*)
         local pkg_list="$*"
         # For Python2, just create venv and install pip
-        virtualenv -p $python $lf_tmp_venv || return 1
-        $lf_tmp_venv/bin/pip install --upgrade --quiet pip || return 1
+        virtualenv -p "$python" "$lf_venv" || return 1
+        "$lf_venv/bin/pip" install --upgrade --quiet pip || return 1
         if [[ -z $pkg_list ]]; then
             echo "${FUNCNAME[0]}(): WARNING: No packages to install"
             return 0
         fi
         echo "${FUNCNAME[0]}(): INFO: Installing: $pkg_list"
-        $lf_tmp_venv/bin/pip install --upgrade --quiet $pkg_list || return 1
+        # $pkg_list is expected to be unquoted
+        # shellcheck disable=SC2086
+        "$lf_venv/bin/pip" install --upgrade --quiet $pkg_list || return 1
         ;;
     python3*)
         local pkg_list=""
@@ -169,26 +191,32 @@ function lf-activate-venv()
                 *)                   pkg_list+="$arg " ;;
             esac
         done
-        $python -m venv $lf_tmp_venv || return 1
-        $lf_tmp_venv/bin/pip install --upgrade --quiet pip virtualenv || return 1
+        $python -m venv "$install_args" "$lf_venv" || return 1
+        "$lf_venv/bin/pip" install --upgrade --quiet pip virtualenv || return 1
         if [[ -z $pkg_list ]]; then
             echo "${FUNCNAME[0]}(): WARNING: No packages to install"
             return 0
         fi
         echo "${FUNCNAME[0]}(): INFO: Installing: $pkg_list"
-        $lf_tmp_venv/bin/pip install --upgrade --quiet --upgrade-strategy eager \
-                             $pkg_list || return 1
+        # $pkg_list is expected to be unquoted
+        # shellcheck disable=SC2086
+        "$lf_venv/bin/pip" install --upgrade --quiet --upgrade-strategy eager \
+                                $pkg_list || return 1
         ;;
     *)
         lf-echo-stderr "${FUNCNAME[0]}(): ERROR: No support for: $python"
         return 1
         ;;
     esac
-    echo "${FUNCNAME[0]}(): INFO: Adding $lf_tmp_venv/bin to PATH"
-    PATH=$lf_tmp_venv/bin:$PATH
-    return 0
+    if $set_path; then
+        echo "${FUNCNAME[0]}(): INFO: Adding $lf_venv/bin to PATH"
+        PATH=$lf_venv/bin:$PATH
+        return 0
+    else
+        echo "${FUNCNAME[0]}(): INFO: Path not set, lf_venv set to: $lf_venv"
+    fi
 
-}   # End lf-activate-venv()
+}   # End lf-activate-venv
 
 ################################################################################
 #
@@ -210,8 +238,7 @@ function lf-activate-venv()
 #
 ################################################################################
 
-function lf-git-validate-jira-urls()
-{
+lf-git-validate-jira-urls () {
     echo "Checking for JIRA URLs in commit message..."
     # if JIRA_URL is not defined, nothing to do
     if [[ -v JIRA_URL ]]; then
@@ -231,7 +258,7 @@ function lf-git-validate-jira-urls()
 ################################################################################
 #
 # NAME
-#   lf-jjb-check-ascii()
+#   lf-jjb-check-ascii
 #
 # SYNOPSIS
 #   # shellcheck disable=SC1090
@@ -249,8 +276,7 @@ function lf-git-validate-jira-urls()
 #
 ################################################################################
 
-function lf-jjb-check-ascii()
-{
+lf-jjb-check-ascii () {
     if [[ ! -d "jjb" ]]; then
         lf-echo-stderr "${FUNCNAME[0]}(): ERROR: missing jjb directory"
         lf-echo-stderr "This function can only be run from top of global-jjb directory"
@@ -272,8 +298,7 @@ function lf-jjb-check-ascii()
 # Shellcheck knows they are shell variables and will check for
 # 'used-before-set'.
 
-function lf-set-maven-options()
-{
+lf-set-maven-options () {
     # Disable 'unused-variable' check
     # shellcheck disable=SC2034
     maven_options="--show-version --batch-mode -Djenkins \