Revise PyPI release jobs to use a staging index
[releng/global-jjb.git] / docs / jjb / lf-python-jobs.rst
index c87e780..217a7b3 100644 (file)
@@ -25,27 +25,6 @@ Runs CLM scanning against a Python project.
 
     :clm-project-name: Project name in Nexus IQ to send results to.
 
-lf-infra-pypi-tag-release
--------------------------
-
-Checks the format of the release version string and checks the git
-repository for that tag. In a merge job, if the tag does not exist,
-adds the tag to the repository, signs the tag, and pushes the tag
-to the git server. Signing requires sigul, which is only available
-on a CentOS build node.
-
-lf-infra-pypi-upload
---------------------
-
-Uploads distribution files from subdirectory "dist" to a PyPI repository
-using a Python virtual enviroment to install required packages. The
-Jenkins server must have a configuration file ".pypirc".
-
-:Required Parameters:
-
-    :pypi-repo: PyPI repository key in .pypirc configuration file;
-        e.g., "pypi-test" or "pypi".
-
 lf-infra-tox-install
 --------------------
 
@@ -137,11 +116,15 @@ The coverage commands define the code that gets executed by the test
 suites.  Checking coverage does not guarantee that the tests execute
 properly, but it identifies code that is not executed by any test.
 
+.. comment Start ignoring WriteGoodLintBear
+
 This job reuses the Sonar builders used for Java/Maven projects which
 run maven twice. The first invocation does nothing for Python
 projects, so the job uses the goal 'validate' by default. The second
 invocation publishes results using the goal 'sonar:sonar' by default.
 
+.. comment Stop ignoring
+
 For example:
 
 .. code-block:: bash
@@ -173,6 +156,8 @@ https://docs.sonarqube.org/display/PLUG/Python+Coverage+Results+Import
         get configured in defaults.yaml)
     :mvn-settings: The name of the settings file with credentials for the project.
 
+.. comment Start ignoring WriteGoodLintBear
+
 :Optional parameters:
 
     :branch: Git branch, should be master (default: master)
@@ -186,17 +171,17 @@ https://docs.sonarqube.org/display/PLUG/Python+Coverage+Results+Import
     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
     :github-url: URL for Github. (default: https://github.com)
     :java-version: Version of Java to use for the build. (default: openjdk8)
-    :mvn-global-settings: The name of the Maven global settings to use for
+    :mvn-global-settings: The name of the Maven global settings to use
     :mvn-goals: The Maven goal to run first. (default: validate)
     :mvn-version: Version of maven to use. (default: mvn35)
     :parallel: Boolean indicator for tox to run tests in parallel or series.
-       (default: false, in series)
+        (default: false, in series)
     :pre-build-script: Shell script to execute before the Sonar builder.
         For example, install prerequisites or move files to the repo root.
         (default: a string with a shell comment)
     :python-version: Python version to invoke pip install of tox-pyenv
         (default: python2)
-    :sonarcloud: Whether or not to use SonarCloud ``true|false``.
+    :sonarcloud: Boolean indicator to use SonarCloud ``true|false``.
         (default: false)
     :sonarcloud-project-key: SonarCloud project key. (default: '')
     :sonarcloud-project-organization: SonarCloud project organization.
@@ -221,6 +206,8 @@ https://docs.sonarqube.org/display/PLUG/Python+Coverage+Results+Import
         modifications trigger a build. Refer to JJB documentation for "file-path" details.
         https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#triggers.gerrit
 
+.. comment Stop ignoring
+
 
 Tox Verify
 ----------
@@ -317,7 +304,7 @@ variables before running.
     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
     :pre-build-script: Shell script to execute before the CLM builder.
         For example, install prerequisites or move files to the repo root.
-        (default: a string with only a comment)
+        (default: a string with a shell comment)
     :python-version: Python version to invoke pip install of tox-pyenv
         (default: python2)
     :stream: Keyword representing a release code-name.
@@ -369,6 +356,8 @@ pyenv variables before running.
     :build-node: The node to run the build on.
     :jenkins-ssh-credential: Credential to use for SSH. (Generally set
         in defaults.yaml)
+    :project: Git repository name
+    :project-name: Jenkins job name prefix
 
 :Optional Parameters:
 
@@ -408,10 +397,11 @@ PyPI Merge
 Creates and uploads distribution files on merge of a patch set. Runs
 tox, builds a source distribution and (optionally) a binary
 distribution, and uploads the distribution(s) to a PyPI repository.
-This job should be configured to use a test PyPI repository like
-testpypi.python.org, not a public release area like the global PyPI
-repository. Like the verify job, this requires a setup.py file for
-packaging the component.
+This job should use a staging repository like testpypi.python.org,
+which sets up use of release jobs to promote the distributions later.
+This job can also use a public release area like the global PyPI
+repository. The project git repository must have a setup.py file
+with configuration for packaging the component.
 
 The tox runner is pyenv aware so if the image contains an installation
 of pyenv at /opt/pyenv it will pick it up and run Python tests with
@@ -425,8 +415,8 @@ pyenv variables before running.
 
 
 Requires a .pypirc configuration file in the Jenkins builder home directory,
-an example appears next that uses API tokens. No repository is needed in the
-PyPI section.
+an example appears next that uses API tokens. Note that in the [pypi] entry
+the repository key-value pair is optional, it defaults to pypi.org.
 
 .. code-block:: bash
 
@@ -456,6 +446,8 @@ PyPI section.
     :build-node: The node to run the build on.
     :jenkins-ssh-credential: Credential to use for SSH. (Generally set
         in defaults.yaml)
+    :project: Git repository name
+    :project-name: Jenkins job name prefix
 
 :Optional Parameters:
 
@@ -472,8 +464,8 @@ PyPI section.
        (default: false, in series)
     :pre-build-script: Shell script to execute before the tox builder. For
         example, install system prerequisites. (default: a shell comment)
-    :pypi-repo: Key for PyPI repository parameters in the .pypirc file.
-        Merge jobs should use a server like testpypi.python.org. (default: pypi-test)
+    :pypi-repo: Key for the PyPI target repository in the .pypirc file,
+        ideally a server like test.pypy.org. (default: pypi-test)
     :python-version: Python version to invoke pip install of tox-pyenv
         (default: python3)
     :stream: Keyword representing a release code-name.
@@ -492,196 +484,3 @@ PyPI section.
     :gerrit_trigger_file_paths: Override file paths used to filter which file
         modifications trigger a build. Refer to JJB documentation for "file-path" details.
         https://docs.openstack.org/infra/jenkins-job-builder/triggers.html#triggers.gerrit
-
-
-PyPI Release Verify
--------------------
-
-Verifies a Python library project on creation of a patch set with a
-release yaml file. Runs tox, builds source and (optionally) binary
-distributions, checks the format of the version string, checks that
-the distribution file names contain the release version string, and
-checks if the tag exists in the code repository for the release
-version.
-
-To initiate the release process, create a releases/ or .releases/
-directory at the root of the project repository, add one release yaml
-file to it, and submit a change set with that release yaml file. A
-schema and and an example for the release yaml file appear below. The
-version in the release yaml file must be a valid Semantic Versioning
-(SemVer) string, matching either the pattern "v#.#.#" or "#.#.#" where
-"#" is one or more digits.
-
-This job is similar to the PyPI verify job, but is only triggered by a
-patch set with a release yaml file.
-
-The build node for PyPI release verify jobs must be CentOS, which
-supports the sigul client for accessing a signing server.
-
-.. note::
-
-   The release file regex is: (releases\/.*\.yaml|\.releases\/.*\.yaml).
-   In words, the directory name can be ".releases" or "releases"; the file
-   name can be anything with suffix ".yaml".
-
-The JSON schema for a pypi release file appears below.
-
-.. code-block:: none
-
-    ---
-    $schema: "http://json-schema.org/schema#"
-    $id: "https://github.com/lfit/releng-global-jjb/blob/master/release-pypi-schema.yaml"
-
-    required:
-      - "distribution_type"
-      - "project"
-      - "version"
-
-    properties:
-      distribution_type:
-        type: "string"
-      project:
-        type: "string"
-      version:
-        type: "string"
-
-
-An example of a pypi release file appears below.
-
-.. code-block:: none
-
-    $ cat releases/1.0.0-pypi.yaml
-    ---
-    distribution_type: pypi
-    version: 1.0.0
-    project: 'example-project'
-
-
-:Template Names:
-
-    - {project-name}-pypi-release-verify-{stream}
-    - gerrit-pypi-release-verify
-    - github-pypi-release-verify
-
-:Comment Trigger: recheck
-
-:Required Parameters:
-
-    :build-node: The node to run build on, which must be Centos.
-    :jenkins-ssh-credential: Credential to use for SSH. (Generally set
-        in defaults.yaml)
-
-:Optional Parameters:
-
-    :branch: The branch to build against. (default: master)
-    :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
-    :build-timeout: Timeout in minutes before aborting build. (default: 15)
-    :disable-job: Whether to disable the job (default: false)
-    :dist-binary: Whether to build a binary wheel distribution. (default: true)
-    :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
-    :parallel: Boolean indicator for tox to run tests in parallel or series.
-       (default: false, in series)
-    :pre-build-script: Shell script to execute before the tox builder.
-        For example, install prerequisites or move files to the repo root.
-        (default: a string with a shell comment)
-    :pypi-repo: Key for PyPI repository parameters in the .pypirc file.
-        Release jobs should use a server like pypy.org. (default: pypi)
-    :python-version: Python version to invoke pip install of tox-pyenv
-        (default: python3)
-    :stream: Keyword representing a release code-name.
-        Often the same as the branch. (default: master)
-    :submodule-recursive: Whether to checkout submodules recursively.
-        (default: true)
-    :submodule-timeout: Timeout (in minutes) for checkout operation.
-        (default: 10)
-    :submodule-disable: Disable submodule checkout operation.
-        (default: false)
-    :tox-dir: Directory containing the project's tox.ini relative to
-        the workspace. The default uses tox.ini at the project root.
-        (default: '.')
-    :tox-envs: Tox environments to run. If blank run everything described
-        in tox.ini. (default: '')
-    :use-release-file: Whether to use the release file. (default: true)
-
-PyPI Release Merge
-------------------
-
-Publishes a Python library on merge of a patch set with a release yaml
-file. Runs tox, builds source and (optionally) binary distributions,
-checks the format of the version string, checks that the distribution
-file names contain the release version string, checks if the tag
-exists in the code repository for the release version, then if the tag
-does not exist, tags the code repository with the release version,
-signs the tag and pushes the tag to the git server. Finally this
-uploads the distributions to a PyPI repository.
-
-This job is similar to the PyPI merge job, but is only triggered by
-merge of a release yaml file, also this checks the version and tag
-before uploading to a public repository such as PyPI.
-
-See the PyPI Release Verify job above for documentation of the release
-yaml file format.
-
-The build node for PyPI release merge jobs must be CentOS, which
-supports the sigul client for accessing a signing server.
-
-A Jenkins user can also trigger this release job via the "Build with
-parameters" action, removing the need to merge a release yaml file.
-The user must enter parameters in the same way as a release yaml file,
-except for the special USE_RELEASE_FILE and DRY_RUN check boxes. The
-user must uncheck the USE_RELEASE_FILE check box if the job should run
-with a release file, while passing the required information as build
-parameters. Similarly, the user must uncheck the DRY_RUN check box to
-test the job while skipping upload of files to a repository.
-
-The special parameters are as follows::
-
-    VERSION = 1.0.0
-    USE_RELEASE_FILE = false
-    DRY_RUN = false
-
-:Template Names:
-
-    - {project-name}-pypi-release-merge-{stream}
-    - gerrit-pypi-release-merge
-    - github-pypi-release-merge
-
-:Comment Trigger: remerge
-
-:Required Parameters:
-
-    :build-node: The node to run build on, which must be Centos.
-    :jenkins-ssh-release-credential: Credential to use for SSH. (Generally set
-        in defaults.yaml)
-
-:Optional Parameters:
-
-    :branch: The branch to build against. (default: master)
-    :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
-    :build-timeout: Timeout in minutes before aborting build. (default: 15)
-    :disable-job: Whether to disable the job (default: false)
-    :dist-binary: Whether to build a binary wheel distribution. (default: true)
-    :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
-    :parallel: Boolean indicator for tox to run tests in parallel or series.
-       (default: false, in series)
-    :pre-build-script: Shell script to execute before the tox builder.
-        For example, install prerequisites or move files to the repo root.
-        (default: a string with a shell comment)
-    :pypi-repo: Key for PyPI repository parameters in the .pypirc file.
-        Release jobs should use a server like pypy.org. (default: pypi)
-    :python-version: Python version to invoke pip install of tox-pyenv
-        (default: python3)
-    :stream: Keyword representing a release code-name.
-        Often the same as the branch. (default: master)
-    :submodule-recursive: Whether to checkout submodules recursively.
-        (default: true)
-    :submodule-timeout: Timeout (in minutes) for checkout operation.
-        (default: 10)
-    :submodule-disable: Disable submodule checkout operation.
-        (default: false)
-    :tox-dir: Directory containing the project's tox.ini relative to
-        the workspace. The default uses tox.ini at the project root.
-        (default: '.')
-    :tox-envs: Tox environments to run. If blank run everything described
-        in tox.ini. (default: '')
-    :use-release-file: Whether to use the release file. (default: true)