Call pipdeptree from python -m

Instead of pipdeptree itself which fails when the workspace is
too long, due to kernel constraint on max length available for an
interpreter and args.

Change-Id: Id7c3933c8a53c7648070e80e0d74bf905e547611
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix shellcheck warnings

- SC2196: egrep is deprecated use grep -E instead.
- SC2086: Double quote to prevent word globbing.

Change-Id: I466ebf8f890fbc9e1047624345cc93d9f58ad5a0
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add python tox verify job

This is a generic verify job that can be used to test anything that uses
Tox to run tests. This is mostly a port of OpenDaylight's version of the
same job. Will be useful initially to test lftools and global-jjb but we
plan to migrate all of the OpenDaylight Python / Tox jobs over to this
template as well.

Change-Id: I10417db8fc78a599b794087d3f9f729658214359
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make virtualenv creation less verbose

Change-Id: I93f55fb1be8a0cdc98c601419af5ffe8344372fb
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Allow git-url to be overridden by job

This is needed for jobs that want to trigger against cross-project
Git systems such as global-jjb and lftools.

Change-Id: I28035e22532c1e81e363e59a5e57a1b09b5ae1b8
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make Github url and clone url at Jenkins level.

Provide a way to access Github url and Github clone url.
Github url and clone url will be set at global level in Jenkins;
GIT_URL and GIT_CLONE_URL respectively.

JIRA: RELENG-151
Change-Id: I2fdc509b27d97816aab2168a6a7863d295c3dd8a
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Add macro section headers and new macros

* Add in section headers to help finding different macros sections
  faster

* Add in 4 of our commonly replicated macros
  builders:
    - lf-jacoco-nojava-workaround
    - lf-maven-install
    - lf-provide-maven-settings
  parameters:
    - lf-maven-exec

Change-Id: Ide5dd2acdd30d6683f864dc806513e88621ae639
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Use pip module instead of pip itself

when the filepath is very long and pip is run in a
virtualenv, the filepath is truncated and the
commands don't work. Some ODL CSIT jobs have
this problem. They use the lftools to upload their
logs so these specific CSIT jobs are not getting
their logs updloaded.

Change-Id: I0b4c0ac785fe6e2fbd183c1b9332cc6fd7b0ecaa
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

All macros should be namespaced to lf-infra-

Fixes create-netrc and gpg-verify-git-signature to be namespaced into
lf-infra- as all of the macros should be so that we can more easily
bring over current macros that projects may have that make sense in a
global sense without stomping on current definitions. This will allow us
to more gradually migrate onto global macros when it makes sense.

Change-Id: I419468cc5826490736b94d1f3f2041f11f0b9470
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Use pipdeptree instead of freeze

pipdeptree provides better output than pip freeze with more information.
Also run pip installs in quiet mode to cut down on log spam. It will
still print out WARNINGS, ERROR, and CRITICAL log messages.

Change-Id: I3f7e687ccdea5fcb5c749328c1e387e6d99d9fed
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix jjb-verify to not fail on ls call

The set -e configure fails the build when ls returns an error state.
Rewrite the code such that it passes correctly and does not fail the
build.

Change-Id: Ib1e99dd3c8ce596610d5119b9fcdf01c626bcbdd
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Enable archive pattern support

lftools deploy supports archiving using patterns via the -p argument.
Pass in this argument if the env variable ARCHIVE_ARTIFACTS is defined.
If variable is not defined or blank then a blank string gets passed in
which still works.

Change-Id: I4d096ea9ad1b0c93864d37c6188f02f7e32f6228
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix unbound variable failure

Virtualenv's activate script has expected unbound variables so will
cause the install scripts to fail if we `set -u` so let's not set that
and leave a note.

Change-Id: I65179570e20e5ae39da54f944ad3a7331ce86184
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Make sure we fail if scripts fail

Rather then allowing the scripts to continue we should immediately fail
the scripts if an error occurs.

Change-Id: Ide1d02df950b434d24d7e60675ba73639bded33f
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Adjust git url

JIRA: RELENG-127
Change-Id: I596866ca28a3dd6067072563ad2fb981da673d69
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Removed explicit refspec reference for merge job

Change-Id: I08c60b4ff7ee0bc2bd5998bbd2c15e9fc4c81bba
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Add trigger for github plugin

JIRA: RELENG-127
Change-Id: I5e10d5e5d3a530fedfdd0d762b1f212a9acfbe09
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Add macro for github SCM and bits for ghrpb

RELENG-127
Change-Id: I2affd71b4c4332522104b7eff11af284b9bab895
Signed-off-by: Jeremy Phelps <jphelps@linuxfoundation.org>

Transition Gerrit jobs to ID names

Move to ID targetted names for the Gerrit JJB jobs. This will allow us
to have the GitHub JJB jobs have the same name as long as the job-group
uses the IDs instead of the direct job names.

Change-Id: Ifac6cca2f5a29b0b21d939fbb0c232daaef65c50
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Use anchors on JJB verify / merge job definitions

We need a relatively easy way of keeping our Gerrit and GitHub verify
and merge jobs in sync. Given that presently the only difference really
should be the SCM and Trigger diffinitions for each of the job types,
plus a bunch of shared boiler plate in document anchors make a good
method for dealing with it.

Issue: RELENG-106
Change-Id: I28dba9cd5e5535353d9bd4214e38fc4f8e34fc07
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Only ship logs if LOGS_SERVER defined

When new projects are first being stood up they don't always have the
ability to pull their console logs since Jenkins may be in a locked down
mode. If this is the case then the log shipping will always fail and
cause the job to be marked as either FAILED or UNSTABLE. Instead we
should only ship the logs if LOGS_SERVER is defined in Jenkins flagging
that the console logs are publicly available.

Change-Id: I6fc162fec2d7c0cdc1a3785a8ec726d2430d5c96
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Document steps for deploying ci-jobs

Provide step-by-step instructions in the README for how to deploy
ci-jobs to a project ci-management repo.

Change-Id: I4ed845b0e160f2f2b5a60a04a14848067ee41c2b
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Fix Gerrit Trigger comment regex

Gerrit comments also contain Patch Set #: so the regex would need to be
slightly more complex if we want to be precise. Let's stick with a
comment ending in the keyword instead. It get's us most of the way
there.

Change-Id: Ib1209c5685f41ba0b287d6b32261e870fee1e27c
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add lf ci-management jjb jobs

This patch ports the jjb ci-management jobs over from OpenDaylight and
makes necessary adjustments to make it generically re-useable as
possible.

This patch requires some environment variables defined. For example:

JENKINS_HOSTNAME=jenkins092
LOGS_SERVER=https://logs.opendaylight.org
NEXUS_URL=https://nexus.opendaylight.org
SILO=releng

Issue: RELENG-32
Change-Id: Ic19c5fa652885270d8e16992e82e642af95b0f4d
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Add coala linting for YAML and JSON

Change-Id: Ic64a0b208b338b6eaaddd4229aa036f076639e34
Signed-off-by: Thanh Ha <thanh.ha@linuxfoundation.org>

Setup .git{review,ignore}

Change-Id: I7ab3bfd593199488cbfe1f81377dd021bb586d0a
Signed-off-by: Andrew Grimberg <agrimberg@linuxfoundation.org>

Initial empty repository