shell/python-tools-install.sh

   1 #!/bin/bash
   2 # SPDX-License-Identifier: EPL-1.0
   3 ##############################################################################
   4 # Copyright (c) 2018 The Linux Foundation and others.
   5 #
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Eclipse Public License v1.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.eclipse.org/legal/epl-v10.html
  10 ##############################################################################
  11 echo "---> python-tools-install.sh"
  12
  13 set -eufo pipefail
  14
  15 # Souce the python version from lf-env.sh if available.
  16 python="python3"
  17 if [[ -f ~/lf-env.sh ]]; then
  18     # shellcheck source=/dev/null
  19     source ~/lf-env.sh
  20     lf-activate-venv --python "$python" lftools
  21     # Save the virtualenv path
  22     # shellcheck disable=SC2154
  23     echo "$lf_venv" > "/tmp/.os_lf_venv"
  24 elif [[ -d /opt/pyenv ]]; then
  25     echo "Setup up pyenv"
  26     export PYENV_ROOT="/opt/pyenv"
  27     export PATH="$PYENV_ROOT/bin:$PATH"
  28     pyenv versions
  29     if command -v pyenv 1>/dev/null 2>&1; then
  30         eval "$(pyenv init - --no-rehash)"
  31         pyenv local "$python"
  32     fi
  33 fi
  34
  35 # This script will typically be called during pre-build & post-build.
  36 # Create the user venv during pre-build.
  37 if [[ ! -f /tmp/pre-build-complete ]]; then
  38     requirements_file=$(mktemp /tmp/requirements-XXXXXX)
  39
  40     # Note: To test lftools master branch change the lftools configuration below in
  41     #       the requirements file from "lftools[openstack]~=#.##.#" to
  42     #       git+https://github.com/lfit/releng-lftools.git#egg=lftools[openstack]
  43
  44     echo "Generating Requirements File"
  45     cat << 'EOF' > "$requirements_file"
  46 python-heatclient
  47 python-openstackclient
  48 python-magnumclient
  49 kubernetes
  50 niet~=1.4.2
  51 cryptography<3.4
  52 yq
  53
  54 # PINNED INDIRECT DEPENDENCIES
  55 # ============================
  56 # The libraries listed below should be considered workarounds and thus need
  57 # to have a link to a JIRA and any relevant pkg versions and support packages
  58 # necessary so that future maintainers of this file can make decisions to
  59 # remove the workarounds in the future.
  60 importlib-resources<2.0.0  # virtualenv 20.0.21 requires importlib-resources<2.0.0 (RELENG-2993)
  61 pyparsing<3.0.0 # httplib2 0.20.1 requires pyparsing<3,>=2.4.2
  62 urllib3~=1.26.15 # python-jenkins-1.8.0 requires urllib3-1.26
  63 EOF
  64
  65     #Python 3.5 in Ubuntu 16.04 workaround
  66     if [[ -f /etc/lsb-release ]]; then
  67         # shellcheck disable=SC1091
  68         source /etc/lsb-release
  69         if [[ $DISTRIB_RELEASE == "16.04" && $DISTRIB_ID == "Ubuntu" ]]; then
  70             echo "WARNING: Python projects should move to Ubuntu 18.04 to continue receiving support"
  71             echo "zipp==1.1.0" >> "$requirements_file"
  72         fi
  73     fi
  74
  75     python3 -m pip install --quiet --upgrade pip
  76     # TODO: temporarily pinning setuptools to avoid plugin version format issues
  77     # https://github.com/pypa/setuptools/issues/3772#issuecomment-1384342813
  78     python3 -m pip install --quiet --no-warn-script-location --upgrade setuptools==65.7.0
  79     python3 -m pip install --quiet --no-warn-script-location --upgrade lftools[openstack] urllib3~=1.26.15
  80     python3 -m pip install --quiet --no-warn-script-location --upgrade \
  81         --upgrade-strategy eager -r "$requirements_file"
  82     # installs are silent, show version details in log
  83     python3 --version
  84     python3 -m pip --version
  85     python3 -m pip freeze
  86
  87     rm -rf "$requirements_file"
  88     touch /tmp/pre-build-complete
  89 fi