Add Throttle Property to JJB jobs

This adds "Throttle Builds" configuration to JJB jobs (verify, merge,
etc) to allow global-jjb users with static builders to limit the number
of jjb jobs ran on a single node.

Issue: RELENG-1510
Change-Id: I00d2950451eae8037ded407937131723b0001179
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Adapt maven path search for files and dirs

The "-f" maven param can specify both a directory, in which case it
will look for "pom.xml" in the directory, or a specific file. The
original version of this search was only compatible with directories
that contain a pom.xml file.

Change-Id: I81ab161f3156fc2159a4b7ca9ca084a0f82da795
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Extract version number passed set '{java-version}'"

Add set version conditional step

Add conditional step for gerrit-maven-stage to optionally
run the versions maven plugin using the versions.properties
file.

Issue: RELENG-1860
Change-Id: I4bea0ae911a79db7ef238f5ece619be6270e2256
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Cleanup Jenkins init scripts

RELENG-1856 Cleanup Jenkins init scripts Make scripts portable so the
ci-management can be installed anywhere.  Update README comments. All
changes should be backward compatible.

Change-Id: I5ce6f76cfa0483b7a1b91b72ae1264c21e769dba
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Extract version number passed set '{java-version}'

When the version number string is multi-digits ex: openjdk11
"${SET_JDK_VERSION: -1}" returns '1' which is incorrect.

The change fixes version number extraction for the string
passed to env variable $SET_JDK_VERSION.

Also update the regex to handle values with special chars.

Issue: RELENG-1853
Change-Id: I52c49fec007bad70d4a42d4c20a45b35fec3997c
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Document required params in lf-maven-stage macro"

Merge "Optimize the jjb-deploy trigger regex"

Update lf-maven-central macro docs and templates

Update lf-maven-central macro docs and templates
with the missing required params.

The change 6a3a8fd3c9430a90f3b8c0c85e7e20b8a318eb8f
missed updating the docs and sample code.

Change-Id: I09b55bbf51cc3ef7c29d50b42e52982dc40e8f72
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Fix formatting in release notes files

The change I04af514bbb237f405eb1d31ec10e3f019c85a43e breaks the rtd
verify job[1] because of the incorrect formating of the prelude section.

The prelude section can not contain a list as all prelude section are
concatenated together when the release notes are built. Merging the
preludes into their respective feature sections ensures the contex of
the comments are preserved as otherwise they will appear at the top of
the documentation apart from any other information.

Ref: https://docs.openstack.org/reno/latest/user/examples.html

[1] https://jenkins.opendaylight.org/releng/job/lf-infra-global-jjb-rtd-verify-any/475/

Change-Id: I3d23679eb4740b5fdc22fc566811d06ac6128820
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Update sigul macro to support sign mode"

Merge "Update lftools to version 0.21.0"

Update Jenkins Init Scripts

Support ability to specify swap size and to pre-allocate the '/w' volume
for the Hyperledger Project

Change-Id: I04af514bbb237f405eb1d31ec10e3f019c85a43e
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Update sigul macro to support sign mode

Sign mode is a parameter to allow the user to choose whether or not
to sign artifacts in parallel using gnu-parallel or in serial mode
(bash for loop) methods.

Cleanup obsolete lftools_activate method.

Change-Id: Ib202f93a37e2830e5048c5a766c17d75233c6423
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update lftools to version 0.21.0

Change-Id: Ibbcd6b25247dcad926fc67342f9eac47347902e0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Optimize the jjb-deploy trigger regex

Optimize the jjb-deploy trigger regex to trigger the job _only_
when the Gerrit CR comment is intended as a command.

The `jjb-deploy` job presently gets triggered and is waste of infra
resources when the keyword is intended as comment in Gerrit.

Ref: https://git.opendaylight.org/gerrit/#/c/80358/

Issue: RELENG-1847
Change-Id: I3b35adb1284d3d9029ba025bf660b66fbb5d98e0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Document required params in lf-maven-stage macro

Change-Id: I1f281b22f7b9454ef58e3fcc5fa49c5d333263a7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add cmake-sonar job"

Minor cleanup of openstack-protect script

Change-Id: I45070e0b364136b28e4130aed3972603e8c2e3c1
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Rework image code to handle no results from YAML

When grep has 0 matches it returns a non-zero exit code. In this case
a 0 match grep is a possibility for YAML files so ignore grep's exit
code in this instance.

Change-Id: Ia7eb55364feeb42bf35681c4ae0798fe25bbfad1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Search for CFG & YAML files in specific dirs

These file locations are standard locations in our CI setup so be
specific of where to search for them. This prevents the scripts
from picking up data from test files in global-jjb.

Change-Id: Ia486ae8704b77f9303b5a2e54c4ffaf5de41aef8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump lftools to v0.20.0

Change-Id: I6fa72595c1843a1955f4b492c035ebc7863163b5
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add niet needed for artifcat release job

Change-Id: I4223d00667b5701377d057e76e82e8657960d262
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Add Error Handling

Packer Cleanup Script was ignoring all errors

Change-Id: I881abf36420a1976c4f3af552aeeca4a4512c555
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Merge "Update lf-maven-stage macro with missing parts"

Merge "Add job to automatically announce lf releases"

Add job to automatically announce lf releases

This job triggers when a Gerrit tag is pushed and sends an email to
lf-releng@lists.linuxfoundation.org to notifiy the release.

Change-Id: I5255ac6f3afbcadfc11e9640483613bd2e84250a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update lf-maven-stage macro with missing parts

Added the following missing parts to the lf-maven-stage macro.

* lf-provide-maven-settings
* lf-infra-create-netrc
* lf-provide-maven-settings-cleanup

This improves the macro to be a complete function that does not require
preparatory steps to complete it.

New Usage:

      - lf-maven-stage:
          mvn-global-settings: 'global-settings'
          mvn-settings: 'settings'
          mvn-staging-id: 'staging-profile-id'

This patch also updates the lf-maven-central macro as necessary to
work along side the lf-maven-stage changes.

Issue: RELENG-1554
Change-Id: Ie4fbcb52229c74c4216df4d07f077cd691ab6aa6
Signed-off-by: Bengt Thuree <bthuree@linuxfoundation.org>

Add cmake-sonar job

This job only supports SonarCloud configuration.

Change-Id: I4f2b5100e3316f21c866155199aeed0533d13b8b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add support for SonarCloud

If SonarCloud is used the old method is automatically disabled so that
Sonar is not run twice.

Example Usage:

- project:
    name: yangtools-sonar
    jobs:
      - gerrit-maven-sonar

    project: 'yangtools'
    project-name: 'yangtools'
    branch: 'master'
    mvn-settings: 'yangtools-settings'
    mvn-opts: '-Xmx1024m'
    sonarcloud: true
    sonarcloud-project-key: KEY
    sonarcloud-project-organization: ORGANIZATION
    sonarcloud-api-token: TOKEN

Issue: RELENG-1721
Change-Id: Ica1cd29bfc9246f2452370dd6ceb8b7e5b8e5329
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Modify cron entry

Modify cron entry to pick from custom config

Issue-Id: RELENG-1728
Change-Id: Icd4d97a37672fd0dece6960fa6de7d9fa2fe8a1e
Signed-off-by: Suresh Channamallu <schannamallu@linuxfoundation.org>

Verify build node HARDWARE_ID

This script already checks each file's IMAGE_NAME for validity; this
adds essentially the same validation to check the HARDWARD_ID.
Also add the job to the ci-jobs groups, and set submodule-recursive
value for github-jenkins-cfg-verify.

Issue: RELENG-1418
Change-Id: I0266a0fcc276b2960c9c1749a89bc70e8115d152
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Add Release Notes for Packer Build Description

This was missed in the previous commit to add packer images to the
Jenkins build description.

Issue: RELENG-1073
Change-Id: Iced92ada13d0f576a7b560df5bc1242d83ee9689
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix disable-job param typo in docs

Change-Id: I28011767f45b0d29743c74cbec15f55bc48f603b
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Set Packer Image name as Build Description

With the Build Description Setter plugin installed in Jenkins, the
packer image name can be extracted after a successful build.

This allows users to no longer look through the build logs when trying
to find the image name for builds.

Issue: RELENG-1073
Change-Id: Iffebd2b7e6b282d3e17a7bd6de1452e063f64603
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Extend ${JOB_NAME} to include {java-version} param

To support javadocs jobs to build with multiple versions of
openjdk{8,11}, extend with '{java-version}' var to the ${JOB-NAME}.
Extending the job name with (java-version) var, JJB ensures
that its not passing the multiple java-versions as a list.

The job failure can be seen on the lispflowmapping jobs.
https://logs.opendaylight.org/releng/vex-yul-odl-jenkins-1/lispflowmapping-maven-javadoc-verify-neon/71/
https://logs.opendaylight.org/releng/vex-yul-odl-jenkins-1/lispflowmapping-maven-javadoc-publish-neon/19

Change-Id: If2e189f3e76f36d73863d98f1217c0b42ada52f1
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Fix coala warning

The warning was introduced with the change c90444b3
which fails the tox verify jobs.

Change-Id: I4b6241d53820f588b80f54b28bc92b635fda1b4f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add release notes for checking openjdk $VERSION

The release notes is for I19d77c509c90bca5fea1af53dacc35772c7ac939.

Change-Id: I81d0b2082376517ec26c978d6baa3fbd4e2e3d48
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Fix version number extraction for all cases

When the jobs upgrade to a later version of Java passing
"openjdk11" or "openjdk10" the string substitution would only
return the last char which would potentially fail to pick up
the correct version of Java.

This change fixes this issue to handle all cases.

Change-Id: If81100bbdd116ee071c3ecdeeadc0a3016fa2a15
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Check MAVEN_PARAMS for -f flag in metadata fetch

maven-fetch-metadata.sh was not respecting the "-f" (for file path)
flag in MAVEN_PARAMS, causing lf-maven-merge jobs that utilize this
flag to fail.

Issue: RELENG-1630
Change-Id: I23803fd2e4a46022d85dc2befab1438853c7c3ca
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Merge "Add documentation regarding clouds.yaml"

Check openjdk $VERSION before setting $JAVA_HOME

The default version of openjdk installed is openjdk-8 which
is set through the Jenkins job.

For CentOS we are installing jdk-11 and jdk-10 under /opt. So
we need to check the version of openjdk for the job to pick up
the right version of JDK.

Issue: RELENG-1454
Change-Id: I19d77c509c90bca5fea1af53dacc35772c7ac939
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Compress and upload Javadoc for publish jobs"

Merge "Add puppet-verify job to lf-ci-jobs"

Add documentation regarding clouds.yaml

Change-Id: I7baf6a95a1552d178ba6fe48ec89448995d0f927
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Pass PYTHONPATH to tox env to fix install issues"

Ensure that no lingering .netrc is overriding cfg

If a .netrc already exists with permissions to the same server
as logs, credentials in .netrc are read in order so the log
credentials will not be used. Ensure that no such file pre-exists
before we try to ship logs.

Change-Id: I0449702fd27837208e25a26e34a62f0b8a551c67
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pass PYTHONPATH to tox env to fix install issues

We have seen install issues that only seem to happen on build
machines. The reason these problems do not appear on local builds is
still not clear, but passing in the PYTHONPATH (set to the working
directory) is an innocuous change that fixes the problem.

Change-Id: I70217404b5a1f993d233714e2e1cac4ae9e7fd2d
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Revert lftools back to v0.18.0

Binary corruption issues in lftools v0.19.x stream so revert back to
v0.18.0 for now.

Change-Id: I9f9ceb94a4d5efad4307517bff72b898a10ae728
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pin dogpile.cache to ~=0.6.8

dogpile.cache released a new version 0.7.x yesterday which started
breaking openstackclient. No upstream fix for this yet so pin this
library until we can upgrade.

Change-Id: I308d170fe1498bc4e03b3d6b769cca3ca822f5ac
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Compress and upload Javadoc for publish jobs

Javadoc publish job always successfully publishes to the "javadoc"
repo, therefore dont maintain another copy of this on the logs
server. Also Javadocs contain ~15K small files which potentially
requires additional CPU cycles for pruning on the logs server.

Issue: RELENG-1215
Change-Id: I1b107a1c65db4b70096d5735c741fb32f09daedd
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add acumos hardware flavor

Add acumos-highcpu-4-avx hardware flavor to the
map list.

Change-Id: I5b320b0110d27bbb9ddf2f78244950609105046a
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Add puppet-verify job to lf-ci-jobs

This job performs linting of Puppet modules.

Issue: RELENG-988
Change-Id: I8ab6e828e378eb9186187edb80487e0332ac144f
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Refactor github-maven-sonar trigger

Configure the trigger to run on weekly cron, and also
allow a trigger via GHPRB comment only.

Issue-ID: RELENG-1508
Change-Id: I82e2ab19dc52bc29c8c6549ba753ad1e2e743994
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Use .xz format instead of .gz

xz format has faster compress ratio and better memory requirements.

Change-Id: Id26f9b292fe877f9523a43063daead32ca3486a0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Compress and upload the jjb-verify XML files

The present jjb-verify job that calls lftools maven
deploy archives for releng/builder which takes about ~8 mins to
complete uploading the archives. This is because the job generates
around ~2.3K XML files (small files) which is uploaded to Nexus.
This is possibly because the Nexus Unpack plugin in the Nexus
end unpacking the zip file we upload takes longer.

It's best to compress this into a single file and upload
to Nexus, potentially minimizing the Nexus logs from
bloating up since we have been seeing higher IOPs
and load managing these files in the backend cron jobs.

Compressing the job files before hand shaves off around
6-8 mins from the upload time, therefore reducing the
job time overall significantly.

Tested the change here:
https://jenkins.opendaylight.org/releng/job/builder-jjb-verify/4325

Change-Id: Ifb3ea6e61d28b234c79088ca128294a037ec511f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Update lftools to v0.19.1 with unicode fix

Pull in the unicode fix I88f70af17222fc7931a07e78eba23d9cc60eb9e7 in
lftools.

Change-Id: I52394f3d091a0aa54e23f5ffc654c1307bf04a89
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a note on how to test lftools master

Add a note for LF Staff for how to test lftools master branch
by tweaking global-jjb.

Change-Id: I1ecc0dc7fd251eaea6e0f53c8b9d67e9651cd839
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump lftools version to v0.19.0

Change-Id: Ib28022b61efe42bbad77418d4289ddf3b9afd75f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable configuring the concurrency of jjb-verify

The JJB verify job always runs concurrently. By turning the concurrency
setting into a variable, users will be able to run the job serially,
which may be required on static nodes.

Issue: RELENG-1509
Change-Id: I4f2b51924a71674bbf2d4bbf8acc637971470eec
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Convert Maven Central parameter to macro

This would make it easier for say ODL's autorelease project to
reuse this macro.

Change-Id: I73771b26041dd9e27ca470f3f9ebb54cbe67e654
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove deprecated lftools-install.sh from docs

lftools-install.sh has been deprecated since v0.25.0 update
the best practices docs with the latest changes.

The change is an extension to
I770eec99ae63cf92aa145124859f09d5d327c451 which missed
updating the docs.

Change-Id: I36f36d9848cd53e3e6fd9fbabcdb5b8c36aee268
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Unpin nodeenv version"

Remove lf-stack-delete macro doc from lf-macros

This was moved to lf-openstack-heat.rst via change
Ie706706e24079b0b87f4537342fd3e8955f63fef but we forgot to remove
it from here.

Change-Id: I36a2a97d2c2b97220df0ffc96c2c2a9df79ab304
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix external link syntax

We shouldn't be using :ref: for external links like this and is the
cause of the docs build failure we are seeing today.

Issue: RELENG-1518
Change-Id: I42bcaab4524b21e16e909d76ebdcea4476315350
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Unpin nodeenv version

This was originally pinned because nodeenv was breaking on 2nd and
onward runs of `tox -e coala` due to bug in nodeenv. This no longer
seems to be the case so unpin the version so we can get updates again.

Change-Id: I6a9906f3fcdc90eb546813026527ef63eea88c4e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove deprecated lftools-install.sh

lftools-install.sh has been deprecated since v0.25.0 it's about time
we remove it from global-jjb officially.

Change-Id: I770eec99ae63cf92aa145124859f09d5d327c451
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Hide irrelevant error message"

Hide irrelevant error message

Use 'systemctl' to get status of 'sysstat' on newer releases of Unbuntu
(16.04 & 18.04).  Keep 'grep' to get status of 'sysstat' on Ubuntu
14.4. Unexpected releases will now generate an error.

Change-Id: I9745373d38213838381d3f2f0b46a6358014b268
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Print the final requirements file

Make it clear what's being pulled in by pip install.

Change-Id: I1d659de74e1eb6e37a390285ed3b9854d19edbc9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add details to the relnotes for submodule-timeouts"

Merge "Migrate stack create and delete scripts"

Add details to the relnotes for submodule-timeouts

When reading the release notes, there is no context to which patch
and files were changed. This makes it difficult for the reader to
know what "submodule-timeouts" refers to. Improve the release notes
to mention which macros and templates were changed.

Change-Id: Idc04dd19ea54f217cb04895d755dab71fe205351
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Allow packer-merge job to test WIP patch"

Merge "Re-add All view tab after deleting all jobs&views"

Merge "Fix literal code-block formatting"

Add reference links for ci job-templates

Add reference links for ci job-templates that are missing them.

Change-Id: I08aabb4cd1c759a4672fed5c2e60e9ec1f0a7e39
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix literal code-block formatting

Change-Id: I9b9ab53652dfcabb12190c4081e15df59ad65973
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Re-add All view tab after deleting all jobs&views

This resolves the Jenkins Sandbox being left in a state where a
'00-Empty View' tab is left. This is confusing for Jenkins Sandbox
users as it will look as if the jobs they upload are not being added.

This patch requires JJB 2.8.0 otherwise the jenkins-sandbox-cleanup
job will report failed state. Despite this the primary purpose of the
job (deleting jobs and views) will be successful but needs the new
JJB version to replace the All view automatically.

Issue: RELENG-1450
Change-Id: I4ec106dc55789b7eab717e540491a94e47551852
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow packer-merge job to test WIP patch

Adds the ability for the packer-merge job to be used on Jenkins
Sandbox systems to test work in progress patches from Gerrit or
GitHub.

Issue: RELENG-1495
Change-Id: I5480f17b225f462cc7802981aac9ece3ce611214
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate stack create and delete scripts

Pull in OpenDaylight's opendaylight-infra-stack and
releng-openstack-stack-delete macros. This patch generalizes the
OS HEAT workflow utilized by ODL to spin up CSIT labs to make it
reusable by non-OpenDaylight projects.

Issue: RELENG-1437
Change-Id: Ie706706e24079b0b87f4537342fd3e8955f63fef
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Ignore false-neg ShellCheck SC2154 unused vars"

Merge "Add error handling to stack script"

Merge "Allow JJB Cache directory to be configured"

Add error handling to stack script

Handle case where JENKINS_URL does not return 200 ok.

Change-Id: Ie2067c3a5f3f489e25c361a4f417a6325e4abbd1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup orphaned nodes cron script

Generalize script for reuse in global-jjb.

Issue: RELENG-1434
Change-Id: I7901e58dbc0136c339a2d488c9eef8d46cd5446a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow JJB Cache directory to be configured

When JJB is ran concurrently on the same system with caching enabled, a
timeout can occur when one job fails after waiting 1 minute to aquire
the lock on the JJB cache directory.

Even if caching is disabled/ignored this timeout can still occur as JJB
always tries to lock the cache directory.

Having the ability to configure the cache directory will allow projects
to override it dynamically (with Jenkins env-vars) and run concurrent
jobs on the same node.

Change-Id: I1187847f658e754621369005e627a0f33a0253bc
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Ignore false-neg ShellCheck SC2154 unused vars

ShellCheck 0.4.4 incorrectly fails on the ignored lines, thinking they
are vars that are declared but not used. It only fails one the first
line that uses a new prefix before the hyphen.

I tried using single/double/no quotes, all of which should be valid
bash, but ShellCheck fails on all.

Change-Id: I9ccca21a9d2504ecf0ec3f09707eb82353bd8bbc
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Migrate cleanup-stale-stacks cron script

Generalize script for use in global-jjb.

Issue: RELENG-1432
Change-Id: I9c450c36b0f44a5583bee1932016e7cb3d5ef834
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add orphaned-volumes feature to release notes

This was missed when If84c0f4341386ed758ce9d8556d4c4e574601797
was reviewed.

Change-Id: I529cc36ef19102207594adfe28531a7a1472092a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup-stale-volumes cron script

Generalize the cleanup script for general use in global-jjb.

Issue: RELENG-1435
Change-Id: If84c0f4341386ed758ce9d8556d4c4e574601797
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Allow image protection script to be disabled"

Merge "Migrate cleanup old images script from ODL"

Merge "Refactor the common-view and csit-view template"

Allow image protection script to be disabled

Change-Id: Ie15fc59fba1a4efc475136bf30ed4c94045203d2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup old images script from ODL

Generalize the cleanup script for reuse in global-jjb.

Issue: RELENG-1436
Change-Id: I88e1bc3136b2f9b2542e441a74f26d742679c353
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Install 'openstack' module for lftools

The lftools optional 'openstack' module will now be installed as part
of pre-build script.

Change-Id: I05bdcf07258ffcff9242c9ced10256d1cdaeef6d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Rm openstack-install for lf-infra-pre-build

lf-infra-pre-build is able to manage openstack client installs
so remove the openstack-install script. No need to release note since
no project should be using openstack-cron yet as in it's current
state is incomplete.

Change-Id: Ic6ee5ae0e5815d2730b3fa6154fd8e6d5b096844
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Refactor the common-view and csit-view template

Make the 2 views easier to use by projects. common-view is now
project-view, the intent of the project-view is that it
automatically matches jobs starting with {project-name} to
automatically create a view tab for all of a single project's jobs.

The intent of the CSIT view template is to have a common template
that loads the most useful columns for CSIT views. Since we do
not know the search pattern and view name of these views ahead of
time it has 2 required paramaters ``view-name`` and ``view-regex``.

There is no need to force configuration in defaults.yaml for these 2
templates. For project-view it's intent is to load all project jobs
into a single view using a well known regex which does not need to
be modified. For csit-view we don't know how the regex is going to
be ahead of time so this view-template should just load the common
column configuration and require the view-template user to explicitly
declare their regex and view name.

Additionally add a new 'common-view' which accepts a view-name and
view-regex for users who want to pull in a default view-template
for their view.

Move documentation from release-notes to documentation. Release notes
should be about informing users about new features where detailed
documentation should instead to to the documentation of the views.

Change-Id: Ife3cfe2e37f019dfb87ac8e90b21afb6bdf06889
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Verify jenkins-config files have matching images

This verify job will check that for each config file in
jenkins-config/clouds/**, there is an image on the cloud provider
that matches the IMAGE_NAME field.

Issue-ID: RELENG-1133
Change-Id: I9bf79657af27e8c7ff7b63ced2bd8a0dd544e6d6
Signed-off-by: Eric Ball <eball@linuxfoundation.org>