Base sigul macros and scripts

Before any jobs can be created using sigul we need to have some basic
scaffolding for setting up the sigul enviroment.

Changes to lftools to extend the signing command to leverage sigul will
then allow us to create a meta macro which combines this scaffolding
into a single cohesive macro.

Change-Id: I080c1eb7271a2a64559b2c2f7b1011be1e9a8b16
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Fix branch on verify and merge jobs

This fixes the branch parameter
on verify and merge jobs to be
refs/heads/{branch} and $sha1
respectively.

Change-Id: I230e04fda467848c5e764c90bf9190416b72dac4
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Fix branch variable in github scm

The branch variable should not be
concatenated with refs/heads.
GHPRB makes use of variables to
put here.

Change-Id: I54c6f3f51b734b894abb090d4473683a3e34fa06
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Bump to v0.13.0-dev

Change-Id: I92a54cc34ad23a666f90aa76e1168a87235a686c
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Release global-jjb v0.12.0

Change-Id: I706b80fcdc695d3fb2b25984d65d352ba688b559
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Merge "Add npm config script"

Add branches parameter to github scm macro

Make sure that the github scm macro accepts
branches as a configuration option like the
gerrit version of the macro.

Change-Id: Ife15943fa3fc094e20981f804f7036133d881f46
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Enable maven jobs to archive artifacts

Projects which use the maven jobs in global-jjb may
require to archive additional logs such as surefire
reports. This needs to be handled by globstar patterns
passed through the projects using these templates.

Change-Id: I97dc8801a0fb05cccf75f32ad7ad621cb6e974bf
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Add npm config script

Change-Id: I12a9af7f6926660143e40b2382b44e7af606ff00
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Merge "Move jjb-version to templates"

Merge "Add install goal to javadoc job"

Move jjb-version to templates

It appears that `job-group` definitions take priority over `project`
definitions. Move it to the template so that we can override the
parameter correctly.

Change-Id: I2b824e3cc89667698db8ebfdd3ce43f551e961d7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add npmrc config file to lf-infra-wrappers"

Add npmrc config file to lf-infra-wrappers

Change-Id: I2bafb9a9787f6820243e1ee19861fb8fc45670d7
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Merge "Add note on JJB defaults"

Add install goal to javadoc job

It turns out javadoc needs to have the artifacts available to them in
order to run javadoc:aggregate. In some cases this means artifacts
installed to the local maven repo. This patch adds the install goal as
well as ensuring we continue to skip tests, checkstyle, and findbugs to
keep the jobs running quick.

Change-Id: I3ffa36b207a1412e0489d6c20a91ffcd3ac93c27
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump to v0.12.0-dev

Change-Id: I5eaaa3d84e66a0216225c9b4a16baedf4393d461
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Release global-jjb v0.11.0

Change-Id: Ieaf88baf73a8a1563164879555d25732303ebf8d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Cat the failed tox-envs

Before failing the build we should print the problematic tox
environments into the console to make it easier for folks to
troubleshoot. We are still archiving the individual tox runs but the
console logs will now also contain the errors.

Issue: RELENG-611
Change-Id: Ie6fd132c0de69e8448d320d23daaed811a0d47a1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add note on JJB defaults

This patch provides additional clarification on how defaults are used in
JJB and when to expect the prioritization of variable expansion with
JJB.

Additionally add in intersphinx linking to jjb so that we can link
directly to JJB upstream documentation.

This documentation is based on details provided by Thanh Ha on the
OpenDaylight dev mailing list.

https://lists.opendaylight.org/pipermail/dev/2017-October/004184.html

Issue: RELENG-591
Change-Id: I65aaf933b88519dfbd1daaf8e00661146bc8c38f
Co-Authored-By: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add linting for RST files

We should be linting our reStructuredText documentation as well.

Change-Id: Iff5c8f142a8dbc58550cc749c2742094bf13954d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix WriteGood lint errors

Change-Id: I5e8331c42fa1dcfefac62f03d3e1f57eb8713c16
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Pin nodeenv version to 1.1.2

This fixes an issue where you cannot run tox -e coala more than once.

Change-Id: Ied59caddfea7fe237007d987310f0ce35cd71ef4
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make javadoc-verify jobs run concurrently

We forgot to enable concurrency for the javadoc-verify job when we
created it. This patch fixes that.

Issue: RELENG-607
Change-Id: I622939f418ff254b6714eb28d296199cf86d9589
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Remove port from NEXUS_URL for netrc"

Merge "Let NEXUSPROXY override NEXUS_URL if both are set"

Remove port from NEXUS_URL for netrc

If the NEXUS_URL or NEXUSPROXY contains a port, curl commands
will fail with 401 Unauthorized errors.

Change-Id: I611a7d88f35426b950f12534fba7e9e26618198d
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Let NEXUSPROXY override NEXUS_URL if both are set

NEXUS_URL will never be overridden by NEXUSPROXY when creating a netrc,
or deploy logs, unless NEXUS_URL is not explicitly set.

Change-Id: I0f22775d29f4c8cc577df70cc016a1db0ac578f1
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Revert refspec change breaking submodule build"

Merge "Migrate Global JJB docs to RST"

Update packer version to 1.1.1

Change-Id: I95607aad0739700323fc36566e89ddf193dba576
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Revert refspec change breaking submodule build

Reverts change I65ef5886af59ec85841734f03bfac781194f780a which
introduced a breaking change for submodule projects inside a docs
project. Docs builds have a separate script which handles fetching
patches from Gerrit so should not be setting the refspec in the SCM
plugin.

Change-Id: I657a473a274b2831ad1470bb4895a2c8bcf3c92f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>
(cherry picked from commit 85ebe3be68d3cc20f990e1f4adfd254b08f8c1f8)

Add M2_HOME to Maven parameters

Change-Id: I8557dbc46e742fbc5eeafecd3e23b060ceb200f1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>
(cherry picked from commit b00fefb9ade05788816a1b802644fc68614cdc64)

Migrate Global JJB docs to RST

This moves Global JJB documentation into RST docs and adds a
new checker which parses YAML files for items that are missing
documentation to ensure that every new template addition comes with
supporting documentation.

Tried to update documentation where it made sense too but we should
probably go back later and review all the items to make sure they are
all sufficiently documented. Especially macros which in many places are
lacking in required parameter documentation.

Change-Id: I6551e14f934a904378771262d1491cb5b3df5854
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add note to release notes v0.9.0

A new commit (74befe2) in global-jjb v0.9.0 introduced
the usage of crudini package. Add a note in the
release notes to make sure this package is installed.

Change-Id: If14c8f15d749cd95db3c5708aa897ec4a5f4b0e9
Signed-off-by: Jessica Wagantall <jwagantall@linuxfoundation.org>

Ignore binary files when grepping

Change-Id: I798bda2e55036c3b4aab1cde2a07aca9d2191431
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Convert packer file-paths cfg to {obj:var}"

Update RTD Gerrit job to check GERRIT_* variables

This allows the job to handle branch '*' more easily..

Change-Id: I65ef5886af59ec85841734f03bfac781194f780a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix jjb-verify job to ignore the docs directory"

Fix jjb-verify job to ignore the docs directory

The non-ascii checker should not check the docs directory as that
directory does not contain jjb code.

Change-Id: I3ec988a308c67346f4ebe6cdd6e933a2f4637f5b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump version to v0.11.0-dev

Change-Id: I6ea1d089e82fcbdc287751783344942651e7b495
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Release global-jjb v0.10.0

Change-Id: If8918550d84c703a6704b0e955e0a430bcb74250
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>

Merge "Add Maven job to build dependencies with patches"

Convert packer file-paths cfg to {obj:var}

This is a standard we are using in most jobs so let's follow it with the
CI jobs as well. Looks like the packer jobs were already documented for
this but never actually implemented the feature.

The merge job unfortunately cannot be converted to the format due to
it's use of {platform} and {template} variables unless we want to make
it use the same file-paths as the verify job is now using.

Change-Id: Ie2976506e109f0e90ae26b4b6e4492d6b112b73a
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Migrate node-verify job to global-jjb"

Add missing documentation to rtd jobs

Change-Id: I1e0f97f3824aef4c18c4975931b388a41686e8bd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add missing documentation for Python jobs

Change-Id: I985f14b50187b70d5d12872318c68acfcca5378b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add missing stream documentation to maven docs

Change-Id: I653707b9384c7b4170a53f738500bcecf72a8423
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Remove doc for unused parameter

Change-Id: If2d6d5ee2b6c7f6e221ff3499f3060cb018772f2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add missing documentation from maven jobs

Change-Id: I71b7774c01e8e7ddb0ac8768d9ec7b0e7714ddc7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Standardize gerrit_[merge|verify]_triggers

It turns out you can override per job definition inside of a projects
declaration so let's standardize the trigger wording so that they are
the same everywhere.

Change-Id: Id489a3b04242183a35d56bb938c66b4b486a1d1f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make staging-profile-id optional

Only the release job needs staging-profile-id so set a default of empty
for all other Maven templates.

Change-Id: Id53073377af415a0345f2aeef6637c5bb4a9d559
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Sleep between 1 - 10 seconds for tox

Adds a random 1 - 10 second sleep to workaround parallel tox runs using
the same sdist directory to build a package and failing due to tripping
over itself.

Change-Id: I5054c839dabc3fac3cc814c08bc6568f99485d0d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Migrate node-verify job to global-jjb

Add a NodeJS verify job which uses nodeenv (Python project) to install
NodeJS and then runs `npm install` & `npm test`.

Issue: RELENG-241
Change-Id: Ia120cf804e530ab7d940b96d48ba6524fcf51f0f
Signed-off-by: Anil Belur <abelur@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add Maven job to build dependencies with patches

Provide a Maven job that can verify a patch including firstly building
projects it depends on with their patches first. This allows projects to
validate a patch that has upstream project dependencies which need to be
merged first.

Requires a new global variable to be defined in Jenkins GERRIT_URL
containing the base path to the Gerrit Web UI.

Issue: RELENG-526
Change-Id: Ie9ccb88c21ab5674d0156566da1daee4aa43d641
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bump Sphinx minimal dependencies to latest

Change-Id: I5c032ea889b7a17be9614516e3e51a2963b068c6
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add LF Logo

Change-Id: Ia82ca35196630689f67f8b1b6fb5f2091a6e5c6d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add custom navbar ala OpenDaylight docs

Change-Id: I2af32b6847a6dd1242efd6b9c320a22eff0d8d76
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix packer verify file path triggering

Packer verifies are not properly triggering because the generated ANT
paths are non-resolvable

Change-Id: I3938ca653ab0fba7190ea8caf3715bf7757be4f7
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Fix cross link

Change-Id: I4eaefa4f8e0e64299a98f8bd1519831704be5fcb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Move best practices to global-jjb

Change-Id: I0fb2743438658f775fd321cd27422ceee017be78
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Bootstrap global-jjb docs

Just initialize the docs. Content to come in the next patch.

Change-Id: I2d85ee37e2fca3039b12438220401e6f24e69dbc
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add more required Jenkins plugins

* Git plugin is required by all Jenkins systems using global-jjb

* Create new Gerrit and GitHub sections which details plugins that are
required for a Jenkins that services requests from that SCM service

Change-Id: If0f3f3a5bfd313aa15da96fd2247c9b1fe1b7c6a
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

staging-profile-id unnecessary for javadoc jobs

This parameter is not used at all in javadoc jobs so set to a blank
default so that projects do not have to define this if they want to use
the javadoc jobs.

Change-Id: If97fff08c72d32798cd724d84c29b9cdafe11c0d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Update required plugins list

The Environment Injector Plugin is a required plugin for log shipping
purposes.

Change-Id: I71551c59291e4db69a5b9dc92a351f9449e9af13
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Do not trigger on drafts before Publish

This way, uploading drafts will tie less resources.
Contributors can still recheck drafts manually
if they want them verified before hitting the Publish button.

Change-Id: Ifeddbb2fcde7d56b768ca8d31bcc3eeb1050ff1d
Signed-off-by: Vratko Polak <vrpolak@cisco.com>

Fix unescaped * in if-statement

Change-Id: I8e45a1adc13f4da0e7386371678f6364670f5c38
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Release global-jjb v0.9.0

Change-Id: If902162ff4a18828a23ab3dfedf05a70c7acdd79
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "DO NOT hardcode mvn staging server id"

Merge "Add maven-javadoc jobs"

Add timed parameter to lf-maven-release anchor

Timed parameter is to specify a cron schedule
for the job to run.

Change-Id: Ic08983b4ceed2f05896471fa50797e0351e191f8
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

DO NOT hardcode mvn staging server id

This needs to be configured in defaults.yaml to get the right one.

Change-Id: I8d54118999eb912c3074c4bb2f9b5237bea93ebe
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add maven-javadoc jobs

Create jobs that run javadoc:aggregate to generate javadocs and publish
them to Nexus via the javadoc repo.

Issue: RELENG-482
Change-Id: I07f62abfdd3a63b48838d2421dacfc876c9a007c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Run tox envs separately and capture logs"

Merge "RTD Merge job GTriggers should be overridable"

Run tox envs separately and capture logs

Run the tox envlist as separate tox runs so that we can capture the logs
in separate files for easier troubleshooting.

This patch requires the vm to have the 'crudini' package installed.

Change-Id: I05e01668af6b84c38c10b24353a2157bfa8d5b23
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Docs needs to be built from the $WORKSPACE

Otherwise it will build from the submodule because of the if-statement
above. This breaks the job in cases where a project has submodules.

Change-Id: I06d6291d3329da142ecdbebfb4ac1a866108ef0b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

RTD Merge job GTriggers should be overridable

Change-Id: I2193129790709c2232ebcd283e25cca8efb978e3
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix RTD Verify job Gerrit Triggers

The verify job was incorrectly setup as a merge job trigger causing
RTD builds to not trigger as expected.

Change-Id: I2502eff209deb7b077e64c620c77d4ecbfbc9a8e
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix bug that removed custom docker registry

Inadvertently removed the custom docker
param in an ealier bug fix that was not related.

Change-Id: Ie4f3673be8f636ee1200ed6c308a42a05078ae51
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Add job to deploy to sandbox

This job allows a contributor to leave a comment for example
'jjb-deploy builder-jjb-*' to deploy a job (or several jobs if wildcards
are used) to the Jenkins Sandbox.

This allows jjb contributors to no longer have to install jjb on their
local systems in order to push the job to the Jenkins Sandbox.

ATTN: GitHub version of the job is untested and likely does NOT work as
      currently designed.

Issue: RELENG-373
Change-Id: I4f26c640804a0b7db1a0087cbd805b9263821326
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add trigger for launching release job via comment

Allows the release job to be triggered via Gerrit / GitHub PR comment.
This allows contributors to initiate a release build without needing
permissions via Jenkins directly.

Issue: RELENG-426
Change-Id: I2c75f607cc57471afb49fa0347bb130af214ea4b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Create job to lock|unlock branches via Gerrit"

Merge "Allow project-pattern to be overridable"

Remove rtd-project incorrectly labelled required

rtd-project is not a required parameter for the rtd-verify job. In fact
it's not used at all in the job.

Change-Id: Iea9ba7a6101c130e77d60cfb6536c9be7f12d5b2
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow project-pattern to be overridable

While the ** pattern is good for global docs projects like the
OpenDaylight docs project. If projects have their own standalone
documentation such as lftools we need to be able to set project-pattern
to the exact project. This ensures that Gerrit won't start a lftools
build when a trigger happens on any other project in the Gerrit system.

Change-Id: I46c7d0d45eb7ea82230437648ff23e81baab07f1
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Create job to lock|unlock branches via Gerrit

A contributor can leave a comment "lock|unlock branch" in Gerrit comment
which triggers a job to submit a patch to Gerrit for the project to lock
or unlock their branch.

Locking refers to removing the permission to click the Submit button in
the project's branch effectively disallowing new patches to be merged
into the repo. This job simply generates and submits a patch. A project
committer still needs to approve it.

Issue: RELENG-424
Change-Id: Id489d931037c76bdcad032ec44b0ce748bdffe81
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix docker-login to conditionally use -e"

Fix docker-login to conditionally use -e

The -e/--email flag was removed in docker version
17.06.0.  Do not use if equal or less than that version.

Change-Id: I69335d8ff068fbb180de284317d02f21b8b7e552
JIRA: RELENG-452
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Release global-jjb v0.8.0

Change-Id: Ife11163e99194bd9b43efee47f9601e3adbc5710
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Generalize odl rtd jobs for global-jjb

Change-Id: I35bdd1629c4f1079131048a8a8f41f09949796ff
JIRA: RELENG-240
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Add update-expected-xml call"

Merge "Add lf-pip-install macro to handle pypi packages"

Add update-expected-xml call

Simplify the process of updating the expected-xml by adding a command to
tox.

Change-Id: I02a9f07272baab3fd0dd4407cdb0afb3ffd6e3c7
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Re-order maven jobs alphabetically

Change-Id: Ibc3d91e21d59614fc8e0ed3402e43b986a185759
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add lf-pip-install macro to handle pypi packages

This creates a generically reusable pip-install macro that can be used
to install pypi packages into a virtualenv. The script uses the first
package name from {pip-packages} as the name of the virtualenv it
creates.

Change-Id: Iabe4005efcb0a79af48d3c83d854f4e101414737
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Fix tox-run.sh print statement"

Migrate sonar job

This patch uses OpenDaylight Maven Sonar job as a base and modifies it
to be more generic for use in global-jjb.

Changes from original:

- Support overriding Sonar Gerrit Triggers.
- Use maven deploy goal rather than install. End result is the same but
  deploy sends artifacts to a staging repo which we can check if needed.

Issue: RELENG-243
Change-Id: Ided78015ced8b2d4b42ed452b704e1fe65770a01
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix tox-run.sh print statement

Change-Id: I11721f0e292cddfd7eb05c26866ed274fa7116c8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Merge "Update .gitignore"