Accept maven configuration in Python tox sonar
[releng/global-jjb.git] / docs / jjb / lf-python-jobs.rst
index 217a7b3..117ab38 100644 (file)
@@ -65,7 +65,9 @@ to access Nexus IQ Server.
     - gerrit-python-xc-clm
     - github-python-xc-clm
 
-:Comment Trigger: run-clm
+:Comment Trigger: **run-clm** post a comment with the trigger to launch
+    this job manually. Do not include any other text or vote in the
+    same comment.
 
 :Required parameters:
 
@@ -147,7 +149,9 @@ https://docs.sonarqube.org/display/PLUG/Python+Coverage+Results+Import
     - gerrit-tox-sonar
     - github-tox-sonar
 
-:Comment Trigger: run-sonar
+:Comment Trigger: **run-sonar** post a comment with the trigger to launch
+    this job manually. Do not include any other text or vote in the
+    same comment.
 
 :Required parameters:
 
@@ -229,7 +233,9 @@ variables before running.
     - gerrit-tox-verify
     - github-tox-verify
 
-:Comment Trigger: recheck|reverify
+:Comment Trigger: **recheck|reverify** post a comment with one of the
+    triggers to launch this job manually. Do not include any other
+    text or vote in the same comment.
 
 :Required Parameters:
 
@@ -288,7 +294,9 @@ variables before running.
     - gerrit-tox-merge
     - github-tox-merge
 
-:Comment Trigger: remerge
+:Comment Trigger: **remerge** post a comment with the trigger to launch
+    this job manually. Do not include any other text or vote in the
+    same comment.
 
 :Required Parameters:
 
@@ -325,13 +333,23 @@ variables before running.
         https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#triggers.gerrit
 
 
-PyPI Verify
------------
+PyPI Merge
+----------
 
-Verifies a Python library project on creation of a patch set. Runs tox
-then builds a source distribution and (optionally) a binary
-distribution. The project repository must have a setup.py file with
-configuration for packaging the component.
+Creates and uploads distribution files on merge of a patch set. Runs
+tox, builds a source distribution and (optionally) a binary
+distribution, and uploads the distribution(s) to a PyPI repository.
+The project git repository must have a setup.py file
+with configuration for packaging the component.
+
+This job should use a staging repository like testpypi.python.org,
+which sets up use of release jobs to promote the distributions later.
+This job can also use a public release area like the global PyPI
+repository if the release process is not needed. These PyPI
+repositories allow upload of a package at a specific version once,
+they do not allow overwrite of a package.  This means that a merge job
+will fail in the upload step if the package version already exists in
+the target repository.
 
 The tox runner is pyenv aware so if the image contains an installation
 of pyenv at /opt/pyenv it will pick it up and run Python tests with
@@ -343,19 +361,85 @@ pyenv variables before running.
    export PYENV_ROOT="/opt/pyenv"
    export PATH="$PYENV_ROOT/bin:$PATH"
 
+Installable package projects should use the directory layout shown
+below. All Python files are in a repo subdirectory separate from
+non-Python files like documentation. This layout allows highly
+specific build-job triggers in Jenkins using the subdirectory
+paths. For example, a PyPI merge job should not run on a non-Python
+file change such as documentation, because the job cannot upload the
+same package twice.
+
+To make the document files available for building a Python package
+long description in setup.py, add a symbolic link "docs" in the
+package subdirectory pointing to the top-level docs directory.
+
+.. code-block:: bash
+
+    git-repo-name/
+    │
+    ├── docs/
+    │   ├── index.rst
+    │   └── release-notes.rst
+    │
+    ├── helloworld-package/
+    │   │
+    │   └── helloworld/
+    │   │   ├── __init__.py
+    │   │   ├── helloworld.py
+    │   │   └── helpers.py
+    │   │
+    │   ├── tests/
+    │   │   ├── helloworld_tests.py
+    │   │   └── helloworld_mocks.py
+    │   │
+    │   ├── requirements.txt
+    │   └── setup.py
+    │   └── tox.ini
+    │
+    ├── releases/
+    │   └── pypi-helloworld.yaml
+    │
+    ├── .gitignore
+    ├── LICENSE
+    └── README.md
+
+
+Jobs built from the PyPI templates depend on a .pypirc configuration file
+in the Jenkins builder home directory. An example appears next that uses
+API tokens. Note that in the [pypi] entry the repository key-value pair
+is optional, it defaults to pypi.org.
+
+.. code-block:: bash
+
+    [distutils] # this tells distutils what package indexes you can push to
+    index-servers = pypi-test pypi
+
+    [pypi-test]
+    repository: https://test.pypi.org/legacy/
+    username: __token__
+    password: pypi-test-api-token-goes-here
+
+    [pypi]
+    username: __token__
+    password: pypi-api-token-goes-here
+
+
 :Template Names:
 
-    - {project-name}-pypi-verify-{stream}
-    - gerrit-pypi-verify
-    - github-pypi-verify
+    - {project-name}-pypi-merge-{stream}
+    - gerrit-pypi-merge
+    - github-pypi-merge
 
-:Comment Trigger: recheck
+:Comment Trigger: **remerge** post a comment with the trigger to launch
+    this job manually. Do not include any other text or vote in the
+    same comment.
 
 :Required Parameters:
 
     :build-node: The node to run the build on.
     :jenkins-ssh-credential: Credential to use for SSH. (Generally set
         in defaults.yaml)
+    :mvn-settings: The settings file with credentials for the project
     :project: Git repository name
     :project-name: Jenkins job name prefix
 
@@ -364,13 +448,21 @@ pyenv variables before running.
     :branch: The branch to build against. (default: master)
     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
     :build-timeout: Timeout in minutes before aborting build. (default: 15)
+    :cron: Cron schedule when to trigger the job. Supports daily builds.
+        This parameter also supports multiline input via YAML pipe | character in
+        cases where one may want to provide more than 1 cron timer. (default: empty)
     :disable-job: Whether to disable the job (default: false)
     :dist-binary: Whether to build a binary wheel distribution. (default: true)
     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
+    :mvn-opts: Sets MAVEN_OPTS to start up the JVM running Maven. (default: '')
+    :mvn-params: Parameters to pass to the mvn CLI. (default: '')
+    :mvn-version: Version of maven to use. (default: mvn35)
     :parallel: Boolean indicator for tox to run tests in parallel or series.
        (default: false, in series)
     :pre-build-script: Shell script to execute before the tox builder. For
         example, install system prerequisites. (default: a shell comment)
+    :pypi-repo: Key for the PyPI target repository in the .pypirc file,
+        ideally a server like test.pypy.org. (default: pypi-test)
     :python-version: Python version to invoke pip install of tox-pyenv
         (default: python3)
     :stream: Keyword representing a release code-name.
@@ -391,17 +483,13 @@ pyenv variables before running.
         https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#triggers.gerrit
 
 
-PyPI Merge
-----------
+PyPI Verify
+-----------
 
-Creates and uploads distribution files on merge of a patch set. Runs
-tox, builds a source distribution and (optionally) a binary
-distribution, and uploads the distribution(s) to a PyPI repository.
-This job should use a staging repository like testpypi.python.org,
-which sets up use of release jobs to promote the distributions later.
-This job can also use a public release area like the global PyPI
-repository. The project git repository must have a setup.py file
-with configuration for packaging the component.
+Verifies a Python library project on creation of a patch set. Runs tox
+then builds a source distribution and (optionally) a binary
+distribution. The project repository must have a setup.py file with
+configuration for packaging the component.
 
 The tox runner is pyenv aware so if the image contains an installation
 of pyenv at /opt/pyenv it will pick it up and run Python tests with
@@ -413,39 +501,22 @@ pyenv variables before running.
    export PYENV_ROOT="/opt/pyenv"
    export PATH="$PYENV_ROOT/bin:$PATH"
 
-
-Requires a .pypirc configuration file in the Jenkins builder home directory,
-an example appears next that uses API tokens. Note that in the [pypi] entry
-the repository key-value pair is optional, it defaults to pypi.org.
-
-.. code-block:: bash
-
-    [distutils] # this tells distutils what package indexes you can push to
-    index-servers = pypi-test pypi
-
-    [pypi-test]
-    repository: https://test.pypi.org/legacy/
-    username: __token__
-    password: pypi-test-api-token-goes-here
-
-    [pypi]
-    username: __token__
-    password: pypi-api-token-goes-here
-
-
 :Template Names:
 
-    - {project-name}-pypi-merge-{stream}
-    - gerrit-pypi-merge
-    - github-pypi-merge
+    - {project-name}-pypi-verify-{stream}
+    - gerrit-pypi-verify
+    - github-pypi-verify
 
-:Comment Trigger: remerge
+:Comment Trigger: **recheck|reverify** post a comment with one of the
+    triggers to launch this job manually. Do not include any other
+    text or vote in the same comment.
 
 :Required Parameters:
 
     :build-node: The node to run the build on.
     :jenkins-ssh-credential: Credential to use for SSH. (Generally set
         in defaults.yaml)
+    :mvn-settings: The settings file with credentials for the project
     :project: Git repository name
     :project-name: Jenkins job name prefix
 
@@ -454,18 +525,16 @@ the repository key-value pair is optional, it defaults to pypi.org.
     :branch: The branch to build against. (default: master)
     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
     :build-timeout: Timeout in minutes before aborting build. (default: 15)
-    :cron: Cron schedule when to trigger the job. Supports daily builds.
-        This parameter also supports multiline input via YAML pipe | character in
-        cases where one may want to provide more than 1 cron timer. (default: empty)
     :disable-job: Whether to disable the job (default: false)
     :dist-binary: Whether to build a binary wheel distribution. (default: true)
     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
+    :mvn-opts: Sets MAVEN_OPTS to start up the JVM running Maven. (default: '')
+    :mvn-params: Parameters to pass to the mvn CLI. (default: '')
+    :mvn-version: Version of maven to use. (default: mvn35)
     :parallel: Boolean indicator for tox to run tests in parallel or series.
        (default: false, in series)
     :pre-build-script: Shell script to execute before the tox builder. For
         example, install system prerequisites. (default: a shell comment)
-    :pypi-repo: Key for the PyPI target repository in the .pypirc file,
-        ideally a server like test.pypy.org. (default: pypi-test)
     :python-version: Python version to invoke pip install of tox-pyenv
         (default: python3)
     :stream: Keyword representing a release code-name.