Revert lftools back to v0.18.0

Binary corruption issues in lftools v0.19.x stream so revert back to
v0.18.0 for now.

Change-Id: I9f9ceb94a4d5efad4307517bff72b898a10ae728
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pin dogpile.cache to ~=0.6.8

dogpile.cache released a new version 0.7.x yesterday which started
breaking openstackclient. No upstream fix for this yet so pin this
library until we can upgrade.

Change-Id: I308d170fe1498bc4e03b3d6b769cca3ca822f5ac
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Compress and upload Javadoc for publish jobs

Javadoc publish job always successfully publishes to the "javadoc"
repo, therefore dont maintain another copy of this on the logs
server. Also Javadocs contain ~15K small files which potentially
requires additional CPU cycles for pruning on the logs server.

Issue: RELENG-1215
Change-Id: I1b107a1c65db4b70096d5735c741fb32f09daedd
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add acumos hardware flavor

Add acumos-highcpu-4-avx hardware flavor to the
map list.

Change-Id: I5b320b0110d27bbb9ddf2f78244950609105046a
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Add puppet-verify job to lf-ci-jobs

This job performs linting of Puppet modules.

Issue: RELENG-988
Change-Id: I8ab6e828e378eb9186187edb80487e0332ac144f
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Refactor github-maven-sonar trigger

Configure the trigger to run on weekly cron, and also
allow a trigger via GHPRB comment only.

Issue-ID: RELENG-1508
Change-Id: I82e2ab19dc52bc29c8c6549ba753ad1e2e743994
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Use .xz format instead of .gz

xz format has faster compress ratio and better memory requirements.

Change-Id: Id26f9b292fe877f9523a43063daead32ca3486a0
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Compress and upload the jjb-verify XML files

The present jjb-verify job that calls lftools maven
deploy archives for releng/builder which takes about ~8 mins to
complete uploading the archives. This is because the job generates
around ~2.3K XML files (small files) which is uploaded to Nexus.
This is possibly because the Nexus Unpack plugin in the Nexus
end unpacking the zip file we upload takes longer.

It's best to compress this into a single file and upload
to Nexus, potentially minimizing the Nexus logs from
bloating up since we have been seeing higher IOPs
and load managing these files in the backend cron jobs.

Compressing the job files before hand shaves off around
6-8 mins from the upload time, therefore reducing the
job time overall significantly.

Tested the change here:
https://jenkins.opendaylight.org/releng/job/builder-jjb-verify/4325

Change-Id: Ifb3ea6e61d28b234c79088ca128294a037ec511f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Update lftools to v0.19.1 with unicode fix

Pull in the unicode fix I88f70af17222fc7931a07e78eba23d9cc60eb9e7 in
lftools.

Change-Id: I52394f3d091a0aa54e23f5ffc654c1307bf04a89
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add a note on how to test lftools master

Add a note for LF Staff for how to test lftools master branch
by tweaking global-jjb.

Change-Id: I1ecc0dc7fd251eaea6e0f53c8b9d67e9651cd839
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump lftools version to v0.19.0

Change-Id: Ib28022b61efe42bbad77418d4289ddf3b9afd75f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable configuring the concurrency of jjb-verify

The JJB verify job always runs concurrently. By turning the concurrency
setting into a variable, users will be able to run the job serially,
which may be required on static nodes.

Issue: RELENG-1509
Change-Id: I4f2b51924a71674bbf2d4bbf8acc637971470eec
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Convert Maven Central parameter to macro

This would make it easier for say ODL's autorelease project to
reuse this macro.

Change-Id: I73771b26041dd9e27ca470f3f9ebb54cbe67e654
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove deprecated lftools-install.sh from docs

lftools-install.sh has been deprecated since v0.25.0 update
the best practices docs with the latest changes.

The change is an extension to
I770eec99ae63cf92aa145124859f09d5d327c451 which missed
updating the docs.

Change-Id: I36f36d9848cd53e3e6fd9fbabcdb5b8c36aee268
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Unpin nodeenv version"

Remove lf-stack-delete macro doc from lf-macros

This was moved to lf-openstack-heat.rst via change
Ie706706e24079b0b87f4537342fd3e8955f63fef but we forgot to remove
it from here.

Change-Id: I36a2a97d2c2b97220df0ffc96c2c2a9df79ab304
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix external link syntax

We shouldn't be using :ref: for external links like this and is the
cause of the docs build failure we are seeing today.

Issue: RELENG-1518
Change-Id: I42bcaab4524b21e16e909d76ebdcea4476315350
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Unpin nodeenv version

This was originally pinned because nodeenv was breaking on 2nd and
onward runs of `tox -e coala` due to bug in nodeenv. This no longer
seems to be the case so unpin the version so we can get updates again.

Change-Id: I6a9906f3fcdc90eb546813026527ef63eea88c4e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove deprecated lftools-install.sh

lftools-install.sh has been deprecated since v0.25.0 it's about time
we remove it from global-jjb officially.

Change-Id: I770eec99ae63cf92aa145124859f09d5d327c451
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Hide irrelevant error message"

Hide irrelevant error message

Use 'systemctl' to get status of 'sysstat' on newer releases of Unbuntu
(16.04 & 18.04).  Keep 'grep' to get status of 'sysstat' on Ubuntu
14.4. Unexpected releases will now generate an error.

Change-Id: I9745373d38213838381d3f2f0b46a6358014b268
Signed-off-by: Tim Johnson <tijohnson@linuxfoundation.org>

Print the final requirements file

Make it clear what's being pulled in by pip install.

Change-Id: I1d659de74e1eb6e37a390285ed3b9854d19edbc9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add details to the relnotes for submodule-timeouts"

Merge "Migrate stack create and delete scripts"

Add details to the relnotes for submodule-timeouts

When reading the release notes, there is no context to which patch
and files were changed. This makes it difficult for the reader to
know what "submodule-timeouts" refers to. Improve the release notes
to mention which macros and templates were changed.

Change-Id: Idc04dd19ea54f217cb04895d755dab71fe205351
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Allow packer-merge job to test WIP patch"

Merge "Re-add All view tab after deleting all jobs&views"

Merge "Fix literal code-block formatting"

Add reference links for ci job-templates

Add reference links for ci job-templates that are missing them.

Change-Id: I08aabb4cd1c759a4672fed5c2e60e9ec1f0a7e39
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix literal code-block formatting

Change-Id: I9b9ab53652dfcabb12190c4081e15df59ad65973
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Re-add All view tab after deleting all jobs&views

This resolves the Jenkins Sandbox being left in a state where a
'00-Empty View' tab is left. This is confusing for Jenkins Sandbox
users as it will look as if the jobs they upload are not being added.

This patch requires JJB 2.8.0 otherwise the jenkins-sandbox-cleanup
job will report failed state. Despite this the primary purpose of the
job (deleting jobs and views) will be successful but needs the new
JJB version to replace the All view automatically.

Issue: RELENG-1450
Change-Id: I4ec106dc55789b7eab717e540491a94e47551852
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow packer-merge job to test WIP patch

Adds the ability for the packer-merge job to be used on Jenkins
Sandbox systems to test work in progress patches from Gerrit or
GitHub.

Issue: RELENG-1495
Change-Id: I5480f17b225f462cc7802981aac9ece3ce611214
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate stack create and delete scripts

Pull in OpenDaylight's opendaylight-infra-stack and
releng-openstack-stack-delete macros. This patch generalizes the
OS HEAT workflow utilized by ODL to spin up CSIT labs to make it
reusable by non-OpenDaylight projects.

Issue: RELENG-1437
Change-Id: Ie706706e24079b0b87f4537342fd3e8955f63fef
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Ignore false-neg ShellCheck SC2154 unused vars"

Merge "Add error handling to stack script"

Merge "Allow JJB Cache directory to be configured"

Add error handling to stack script

Handle case where JENKINS_URL does not return 200 ok.

Change-Id: Ie2067c3a5f3f489e25c361a4f417a6325e4abbd1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup orphaned nodes cron script

Generalize script for reuse in global-jjb.

Issue: RELENG-1434
Change-Id: I7901e58dbc0136c339a2d488c9eef8d46cd5446a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow JJB Cache directory to be configured

When JJB is ran concurrently on the same system with caching enabled, a
timeout can occur when one job fails after waiting 1 minute to aquire
the lock on the JJB cache directory.

Even if caching is disabled/ignored this timeout can still occur as JJB
always tries to lock the cache directory.

Having the ability to configure the cache directory will allow projects
to override it dynamically (with Jenkins env-vars) and run concurrent
jobs on the same node.

Change-Id: I1187847f658e754621369005e627a0f33a0253bc
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Ignore false-neg ShellCheck SC2154 unused vars

ShellCheck 0.4.4 incorrectly fails on the ignored lines, thinking they
are vars that are declared but not used. It only fails one the first
line that uses a new prefix before the hyphen.

I tried using single/double/no quotes, all of which should be valid
bash, but ShellCheck fails on all.

Change-Id: I9ccca21a9d2504ecf0ec3f09707eb82353bd8bbc
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Migrate cleanup-stale-stacks cron script

Generalize script for use in global-jjb.

Issue: RELENG-1432
Change-Id: I9c450c36b0f44a5583bee1932016e7cb3d5ef834
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add orphaned-volumes feature to release notes

This was missed when If84c0f4341386ed758ce9d8556d4c4e574601797
was reviewed.

Change-Id: I529cc36ef19102207594adfe28531a7a1472092a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup-stale-volumes cron script

Generalize the cleanup script for general use in global-jjb.

Issue: RELENG-1435
Change-Id: If84c0f4341386ed758ce9d8556d4c4e574601797
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Allow image protection script to be disabled"

Merge "Migrate cleanup old images script from ODL"

Merge "Refactor the common-view and csit-view template"

Allow image protection script to be disabled

Change-Id: Ie15fc59fba1a4efc475136bf30ed4c94045203d2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate cleanup old images script from ODL

Generalize the cleanup script for reuse in global-jjb.

Issue: RELENG-1436
Change-Id: I88e1bc3136b2f9b2542e441a74f26d742679c353
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Install 'openstack' module for lftools

The lftools optional 'openstack' module will now be installed as part
of pre-build script.

Change-Id: I05bdcf07258ffcff9242c9ced10256d1cdaeef6d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Rm openstack-install for lf-infra-pre-build

lf-infra-pre-build is able to manage openstack client installs
so remove the openstack-install script. No need to release note since
no project should be using openstack-cron yet as in it's current
state is incomplete.

Change-Id: Ic6ee5ae0e5815d2730b3fa6154fd8e6d5b096844
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Refactor the common-view and csit-view template

Make the 2 views easier to use by projects. common-view is now
project-view, the intent of the project-view is that it
automatically matches jobs starting with {project-name} to
automatically create a view tab for all of a single project's jobs.

The intent of the CSIT view template is to have a common template
that loads the most useful columns for CSIT views. Since we do
not know the search pattern and view name of these views ahead of
time it has 2 required paramaters ``view-name`` and ``view-regex``.

There is no need to force configuration in defaults.yaml for these 2
templates. For project-view it's intent is to load all project jobs
into a single view using a well known regex which does not need to
be modified. For csit-view we don't know how the regex is going to
be ahead of time so this view-template should just load the common
column configuration and require the view-template user to explicitly
declare their regex and view name.

Additionally add a new 'common-view' which accepts a view-name and
view-regex for users who want to pull in a default view-template
for their view.

Move documentation from release-notes to documentation. Release notes
should be about informing users about new features where detailed
documentation should instead to to the documentation of the views.

Change-Id: Ife3cfe2e37f019dfb87ac8e90b21afb6bdf06889
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Verify jenkins-config files have matching images

This verify job will check that for each config file in
jenkins-config/clouds/**, there is an image on the cloud provider
that matches the IMAGE_NAME field.

Issue-ID: RELENG-1133
Change-Id: I9bf79657af27e8c7ff7b63ced2bd8a0dd544e6d6
Signed-off-by: Eric Ball <eball@linuxfoundation.org>

Pull in tox implicitly through detox

detox's own requirements.txt limits the version of tox that it pulls
in. This can often conflict with the explicit version we set.
Let's use the version of tox as required by detox.

Issue: https://jira.opendaylight.org/browse/RELENG-136
Change-Id: I0b98afc6c993279c17cdd02d67471fadde23e552
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Move required params to defaults section in views

JIRA: RELENG-1393
Change-Id: I03b7244650f30daebba246f5af7af350309079ce
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add option to stage to Maven Central

Provide an option to also stage to OSSRH in preparation to release
to Maven Central.

In addition to printing the staging repo-id also print the URL to
the staging repo for convenience in stage-repo.txt.

Issue: RELENG-1398
Issue: https://jira.opendaylight.org/browse/RELENG-28
Change-Id: I0628cb5c7185e2143e448ceb4fa4752384581a5e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix github-maven-merge scm config

Specifying a refspec on this scm config causes no merge job to be
triggered on a push action.

Change-Id: I46066dc6e371f49ed58dcc4f439cb0fae63808db
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Merge "Add view templates to manage Jenkins views"

Document Gerrit Branch Lock job

Change-Id: I2fddf938cc45bd852bf4e4f01a6e3836a4b79338
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add view templates to manage Jenkins views

Add view templates for common views and csit jobs.
Update docs and JJB tests.

JIRA: RELENG-1259
Change-Id: I0fda1c089ef516bfd3bb3fb04ea4660d410fb094
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add submodule-timeout for submodule operations"

Add submodule-timeout for submodule operations

Some ONAP projects using CLM (SDC) require more submodule
timeout to let the Nexus report run successfully. Allow an
option to provide a submodule-timeout to gerrit-maven-clm
keeping the default to 10 minutes.

Add submodule-timeout parameter for both lf-infra-gerrit-scm
and lf-infra-github-scm.

Main issue and tests described in the asociated Jira.

Issue: RELENG-1297
Change-Id: Ia7d292df9bac53d760767d9ee2caeec2f84c48ac
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Merge "Bump lftools version to v0.18.0"

Bump lftools version to v0.18.0

Change-Id: I999f2a79044dadfb543fe36d8a506d115d3cdf99
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix jenkins-init scripts dir

Resolve issue caused by I5060dd0c1b67fa020a84844936eebb970ae2cbb6
which moved the global-jjb directory around and caused scripts
that depended on the old path to start failing.

Change-Id: I705a8c79bd69c9fdaff8dc677e0f22cb6b42d74b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make a working publisher for Windows builds

This publisher is missing sysstat / shiplogs but we will have to
develop them for Windows machines. In the meantime at least deploy
a builder that works.

Issue: RELENG-1228
Change-Id: I427779c8e580abf6126c04032ca527a5ffd627bf
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add conditional build step to use clouds.yaml

This was missed in patch Idf23a30b111dd922120fb6195d0411e2fc993dab
when we were implementing this feature.

Issue: RELENG-1205
Change-Id: Id2017172293463c616158b79f3af826ea754fa08
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Update reno to 2.11.2

Issue: RELENG-1355
Change-Id: I1bbd3be83f52d63bcde956f392c3396fa236b329
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set PATH in Ubuntu 18.04 VM's

This is a workaround for a bash 3.4 bug that does not
set ~/.local/bin in PATH.

Issue-ID: RELENG-1320
Change-Id: I94bcc14f1dcfd1e813e09d1bf448d465549ea04c
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Merge "Allow maven-clm job to specify AppID namespace"

Clarify git-url and git-clone-url

Issue-ID: RELENG-446
Change-Id: Iac125015c0ed9b7e22feef604a14b21dd5d607d3
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Allow maven-clm job to specify AppID namespace

This allows maven-clm jobs to insert a project namespace into the
AppID field in Nexus IQ in cases where a Nexus IQ server might be
shared by multiple projects and name collision might be an issue.

This patch inserts an optional nexus-iq-namespace parameter which
by default is blank. This should not break backwards compatibility
while allowing the new namespace feature to work. We recommend when
using the namespace to add a trailing - to the value. Eg. 'odl-',
this is to make the namespace look nice for example "odl-aaa" will be
the result of namespace odl-, and project is aaa.

Issue: RELENG-1307
Change-Id: If4313ba00da67541d337b70f7946ad6f21fee037
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix deprecation warning to not execute code

The warning about lftools-install script being deprecated was quoted
incorrectly, so the `code` it suggested was actually executed. This
caused this script to fail, resulting in builds being marked unstable
and logs failing to deploy.

Change-Id: I394baf37a1a82d54fdbee62010af5be0be5527ff
Signed-off-by: Daniel Farrell <dfarrell@redhat.com>

Add lf flavors

The lf flavors are the same as the v2 flavors with the addition of
a 30gb root disk attached. Also reordered the list.

Change-Id: I9989759328b0d6d22ebf7c870e9f4dcbcdcfa253
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Add additional link steps for global-jjb install

Change-Id: I8e81f0924dc8561d6cf2f33e97f6f696c8233382
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Skip vote for releng-rtd from gerrit trigger

There should be an easy way to set jobs coming from global jjb to be
non-voting. I would like to add the rtd job as non
voting first and then after some time switch it to voting.

Change-Id: Id96886973c180e47f79c0550f8c35749715617a3
Jira: RELENG-1294
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

Fix typos in docs

Change-Id: I1a12cebe248c368bab73abd50cc5045214435b8f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add fix note for jjb-cleanup change

Change-Id: I676b953d2906bf4e9cf32bbd2625359540173a25
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Make sure that jjb-cleanup.sh allows unbound vars

Due to our merging of scripts in some of the build steps it's possible
for this script to end up merged in with other scripts that are setting
-u, this will then cause the jjb-cleanup to fail. As such, we need to
explicitly allow unbound variables to be safe

Change-Id: I312e9d737bffefe30a5238809dd03bde1eb0ca6b
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Trigger jjb-verify on all changes in jjb/shell dir"

Trigger jjb-verify on all changes in jjb/shell dir

Replace single file regex with change to any file in
shell dir.

Change-Id: I0ca9a9d1bddd2c21034e70c1413f7d2a64d8ee58
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add a Windows wrapper macro

We currently don't support ssh-agents on Windows. Split the wrapper
so that we have a Windows specific one.

Issue: RELENG-939
Change-Id: I0474206ddc706d8bb5c5c6762237bf227dc6cf82
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add macro to delete an openstack heat stack

This is migrated from OpenDaylight's releng/builder project.

Issue: RELENG-236
Change-Id: I3da707ea8315c861183b536114a7e32595e78c1f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pin Sphinx to ~1.7.9 as 1.8.0 breaks us

Change-Id: I66725c168ba7e8d06c6d9d8186af461c98dd7815
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Trigger jjb-verify on all changes in jjb dir

Everything in the global-jjb directory should trigger jjb-verify
jobs. Update the regex to be less specific.

Change-Id: Ie0b6c5b60e3547e1f3616c8dde7493be6d6184ff
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Set login shell for common-variables.sh

common-variables.sh is pulled in via list action before other
shell scripts so needs a login shell set so that the scripts
that come after correctly get their PATHs set.

Issue: RT 60957
Change-Id: If33d1689d1be590cfe0e557335225be18b5103f7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Split pip and setuptools install to 2 calls

We seem to be getting more success installing pip and setuptools this
way and hopefully fixes the post-build scripts to not require all
jobs that use python to need to update their virtualenv calls.

Change-Id: I0fba7ba0f574cb29561fcfdb1404272c67165582
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Deprecate lftools-install.sh script

This script if used without calling `deactivate` gets in the way of
our post-build scripts and causes UNSTABLE build. Deprecate it as
we are no longer using it in global-jjb.

Change-Id: I84654b20490d5aa7e84e5e7330a59936dc7a6f0d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update jobs to use lf-infra-pre-build

Use lf-infra-pre-build to install lftools via --user config. This
resolves the post-build issues caused by `pip install` due to
virtualenvs messing with the environment.

Change-Id: Iccd72e6f1d580037f55bff3199d05d467de17c58
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update rtd jobs to use lf-infra-pre-build"

Merge "Use --user for tox install instead of virtualenv"

Update rtd jobs to use lf-infra-pre-build

Use lf-infra-pre-build to install lftools via --user config. This
resolves the post-build install failing with missing PBR version.

Change-Id: I3aa48d98811a7469fba15fe4c3eb7474bc7b5196
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use --user for tox install instead of virtualenv

Allows us to remove the workaround of installing lftools in
a venv before as the virtualenvs should no longer be conflicting.

Change-Id: Ic466cd74a568e0de2fbb0f3fd75205cd04c1e3f9
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update lftools to ~ 0.17.1"

Use `python -m pip` to ensure updated pip is used

/usr/bin/pip is usually an OS level wrapper for pip. Calling
`python -m pip` ensures that we are getting the pip we are
installing rather than the OS local version.

Change-Id: I054d1cc0455c700e00450295cf76d925cff99f73
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update lftools to ~ 0.17.1

Change-Id: I69a2e669493b0f309e161f07152d93b0fa0c9ac6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Use clouds.yaml for openstack packer builders"

Merge "Add sigul signing to maven-stage job"

Fix package list script to not fail on diff

The diff command exits 1 if there is a difference between 2 files.
This is perfectly valid so ignore the exit code for this command.

Change-Id: I0da9d6bb99a5a0a9666697b27416fa5e5518e316
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Use clouds.yaml for openstack packer builders

Since packer version 1.2.5, packer now supports pulling openstack
config from clouds.yaml. Let's consolidate to that file so that we
don't have duplicate configuration with the jobs that need the
openstack cli.

Issue: RELENG-1205
Change-Id: Idf23a30b111dd922120fb6195d0411e2fc993dab
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add sigul signing to maven-stage job

Refactor the lf-sigul* macros into a new one called lf-sigul-sign-dir
to be used as a one shot macro to sign a directory. Macro initializes
and cleans up after itself so no need to call extra builder steps.

Issue: RELENG-1071
Change-Id: I0ff965c2ef24fa7a44a114445d8a97c3176e575a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>