Merge "Allow any project/branch to deploy jjb jobs"
[releng/global-jjb.git] / docs / jjb / lf-ci-jobs.rst
1 #######
2 CI Jobs
3 #######
4
5 Job Groups
6 ==========
7
8 {project-name}-ci-jobs
9 ----------------------
10
11 Recommended jobs that should be deployed for CI using Gerrit.
12
13 :Includes:
14
15     - gerrit-jenkins-cfg-merge
16     - gerrit-jjb-deploy-job
17     - gerrit-jjb-merge
18     - gerrit-jjb-verify
19
20 {project-name}-github-ci-jobs
21 -----------------------------
22
23 Recommended jobs that should be deployed CI using GitHub.
24
25 :Includes:
26
27     - github-jenkins-cfg-merge
28     - github-jjb-deploy-job
29     - github-jjb-merge
30     - github-jjb-verify
31
32 {project-name}-packer-jobs
33 --------------------------
34
35 Jobs related to Packer builds for CI using Gerrit.
36
37 :Includes:
38
39     - gerrit-packer-merge
40     - gerrit-packer-verify
41
42 {project-name}-github-packer-jobs
43 ---------------------------------
44
45 Jobs related to Packer builds for CI using GitHub.
46
47 :Includes:
48
49     - github-packer-merge
50     - github-packer-verify
51
52 Macros
53 ======
54
55 lf-jenkins-cfg-global-vars
56 --------------------------
57
58 Manages the Global Jenkins variables. This macro will clear all exist macros
59 in Jenkins and replaces them with the ones defined by the
60 ci-management/jenkins-config/global-vars-SILO.sh script.
61
62 .. note::
63
64    Requires the jjbini file in Jenkins CFP to contain JJB 2.0 style
65    config definitions for "production" and "sandbox" systems.
66
67 :Required parameters:
68
69     :jenkins-silos: Space separated list of Jenkins silos to update
70         configuration for as defined in ~/.config/jenkins_jobs/jenkins_jobs.ini
71
72 lf-infra-jjbini
73 ---------------
74
75 Provides jenkins_jobs.ini configuration for Jenkins.
76
77 lf-infra-jjbini-sandbox
78 -----------------------
79
80 Provides jenkins_jobs.ini configuration for Jenkins sandbox.
81
82 .. todo:: This needs to be consolidated into lf-infra-jjbini when JJB 2.0 is available
83
84 lf-packer-common
85 ----------------
86
87 Common packer configuration.
88
89 lf-packer-file-paths
90 --------------------
91
92 Gerrit file-paths for packer jobs.
93
94 lf-packer-parameters
95 --------------------
96
97 Parameters useful for packer related tasks.
98
99 :Parameters:
100
101     :packer-version: Version of packer to install / use.
102         (shell: PACKER_VERSION)
103
104 lf-packer-verify-file-paths
105 ---------------------------
106
107 Gerrit file-paths for packer verify jobs.
108
109 Job Templates
110 =============
111
112 Gerrit Branch Lock
113 ------------------
114
115 Job submits a patch to lock or unlock a project's branch.
116
117 :Template Names:
118     - {project-name}-gerrit-branch-lock-{stream}
119     - gerrit-branch-lock
120
121
122 .. _lf-global-jjb-jenkins-cfg-merge:
123
124 Jenkins Configuration Merge
125 ---------------------------
126
127 Jenkins job to manage Global Jenkins configuration.
128
129 .. note::
130
131    Requires the jjbini file in Jenkins CFP to contain JJB 2.0 style
132    config definitions for "production" and "sandbox" systems.
133
134 :Template names:
135
136     - {project-name}-jenkins-cfg-merge
137     - gerrit-jenkins-cfg-merge
138     - github-jenkins-cfg-merge
139
140 :Optional parameters:
141
142     :branch: Git branch to build against. (default: master)
143     :cron: How often to run the job on a cron schedule. (default: @daily)
144     :git-url: URL to clone project from. (default: $GIT_URL/$GERRIT_PROJECT)
145     :jenkins-silos: Space separated list of Jenkins silos to update
146         configuration for as defined in ~/.config/jenkins_jobs/jenkins_jobs.ini
147         (default: production sandbox)
148
149 Typically this template is automatically pulled in by the
150 "{project-name}-ci-jobs" job-group and does not need to be explicitly called if
151 the job group is being used.
152
153 Miniaml Example:
154
155 .. literalinclude:: ../../.jjb-test/lf-ci-jobs/jenkins-cfg-merge-minimal.yaml
156    :language: yaml
157
158 Full Example:
159
160 .. literalinclude:: ../../.jjb-test/lf-ci-jobs/jenkins-cfg-merge-full.yaml
161    :language: yaml
162
163 .. _jenkins-cfg-envvar:
164
165 Global Environment Variables
166 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
167
168 Global Environment Variables are managed via the
169 ``jenkins-config/global-vars-SILO.sh`` file in ci-management. Replace SILO with
170 the name of the Jenkins silo the variable configuration is for.
171
172 The format for this file is ``KEY=value`` for example::
173
174     GERRIT_URL=https://git.opendaylight.org/gerrit
175     GIT_BASE=git://devvexx.opendaylight.org/mirror/$PROJECT
176     GIT_URL=git://devvexx.opendaylight.org/mirror
177     JENKINS_HOSTNAME=vex-yul-odl-jenkins-2
178     LOGS_SERVER=https://logs.opendaylight.org
179     NEXUS_URL=https://nexus.opendaylight.org
180     ODLNEXUSPROXY=https://nexus.opendaylight.org
181     SILO=sandbox
182     SONAR_URL=https://sonar.opendaylight.org
183
184 Cloud Configuration
185 ^^^^^^^^^^^^^^^^^^^
186
187 This configuration requires the OpenStack Cloud plugin in Jenkins and is
188 currently the only cloud plugin supported.
189
190 OpenStack Cloud plugin version supported:
191
192 * 2.30
193 * 2.31
194 * 2.32
195
196 Cloud configuration are managed via a directory structure in ci-management as
197 follows:
198
199 - jenkins-config/clouds/openstack/
200 - jenkins-config/clouds/openstack/cattle/cloud.cfg
201 - jenkins-config/clouds/openstack/cattle/centos7-builder-2c-2g.cfg
202 - jenkins-config/clouds/openstack/cattle/centos7-builder-4c-4g.cfg
203 - jenkins-config/clouds/openstack/cattle/centos7-docker-4c-4g.cfg
204
205 The directory name inside of the "openstack" directory is used as the name of
206 the cloud configuration. In this case "cattle" is being used as the cloud name.
207
208 The ``cloud.cfg`` file is a special file used to configure the main cloud
209 configuration in the format ``KEY=value``.
210
211 :Cloud Parameters:
212
213     :CLOUD_URL: API endpoint URL for Keystone.
214         (default: "")
215     :CLOUD_IGNORE_SSL: Ignore unverified SSL certificates. (default: false)
216     :CLOUD_ZONE: OpenStack region to use. (default: "")
217     :CLOUD_CREDENTIAL_ID: Credential to use for authentication to OpenStack.
218         (default: "os-cloud")
219     :INSTANCE_CAP: Total number of instances the cloud will allow spin up.
220         (default: null)
221     :SANDBOX_CAP: Total number of instances the clodu will allow to
222         spin up. This applies to "sandbox" systems and overrides the
223         INSTANCE_CAP setting. (default: null)
224
225 :Template Parameters:
226
227     .. note::
228
229        In the case of template definitions of a parameter below is not passed
230        the one defined in default clouds will be inherited.
231
232     :IMAGE_NAME: The image name to use for this template.
233         (default: "")
234     :LABELS: Labels to assign to the vm. (default: FILE_NAME)
235     :HARDWARE_ID: OpenStack flavor to use. (default: "")
236     :NETWORK_ID: OpenStack network to use. (default: "")
237     :USER_DATA_ID: User Data to pass into the instance.
238         (default: jenkins-init-script)
239     :INSTANCE_CAP: Total number of instances of this type that can be launched
240         at one time. When defined in clouds.cfg it defines the total for the
241         entire cloud. (default: null)
242     :SANDBOX_CAP: Total number of instances of this type that can be launched
243         at one time. When defined in clouds.cfg it defines the total for the
244         entire cloud. This applies to "sandbox" systems and overrides the
245         INSTANCE_CAP setting. (default: null)
246     :FLOATING_IP_POOL: Floating ip pool to use. (default: "")
247     :SECURITY_GROUPS: Security group to use. (default: "default")
248     :AVAILABILITY_ZONE: OpenStack availability zone to use. (default: "")
249     :START_TIMEOUT: Number of milliseconds to wait for the agent to be
250         provisioned and connected. (default: 600000)
251     :KEY_PAIR_NAME: SSH Public Key Pair to use for authentication.
252         (default: jenkins)
253     :NUM_EXECUTORS: Number of executors to enable for the instance.
254         (default: 1)
255     :JVM_OPTIONS: JVM Options to pass to Java. (default: "")
256     :FS_ROOT: File system root for the workspace. (default: "/w")
257     :RETENTION_TIME: Number of minutes to wait for an idle slave to be used
258         again before it's removed. If set to -1, the slave will be kept
259         forever. (default: 0)
260
261 For a live example see the OpenDaylight project jenkins-config directory.
262 https://github.com/opendaylight/releng-builder/tree/master/jenkins-config
263
264 Troubleshooting
265 ^^^^^^^^^^^^^^^
266
267 :Cloud Configuration:
268
269     The directory ``groovy-inserts`` contains the groovy script output that is
270     used to push to Jenkins. In the event of a job failure this file can be
271     inspected.
272
273
274 JJB Deploy Job
275 --------------
276
277 Deploy jobs to jenkins-sandbox system via code review comment
278
279 This job checks out the current code review patch and then runs a
280 `jenkins-jobs update` to push a patch defined by the comment.
281
282 :Template names:
283
284     - {project-name}-jjb-deploy-job
285     - gerrit-jjb-deploy-job
286     - github-jjb-deploy-job
287
288 :Comment Trigger: jjb-deploy JOB_NAME
289
290     .. note::
291
292        JOB_NAME can include the * wildcard character to push multiple jobs
293        matching the pattern. For example `jjb-deploy builder-jjb-*`` will push
294        all builder-jjb-* jobs to the sandbox system.
295
296 :Required parameters:
297
298     :build-node: The node to run build on.
299     :jenkins-ssh-credential: Credential to use for SSH. (Generally
300         should be configured in defaults.yaml)
301
302 :Optional parameters:
303
304     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
305     :gerrit_jjb_deploy_job_triggers: Override Gerrit Triggers.
306
307
308 JJB Merge
309 ---------
310
311 Runs `jenkins-jobs update` to update production job configuration
312
313 :Template Names:
314     - {project-name}-jjb-merge
315     - gerrit-jjb-merge
316     - github-jjb-merge
317
318 :Required parameters:
319
320     :build-node: The node to run build on.
321     :jenkins-ssh-credential: Credential to use for SSH. (Generally should
322         be configured in defaults.yaml)
323     :mvn-settings: The name of settings file containing credentials for
324         the project.
325
326 :Optional parameters:
327
328     :branch: Git branch to fetch for the build. (default: master)
329     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
330     :build-timeout: Timeout in seconds before aborting build. (default: 10)
331     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
332     :stream: Keyword that can be used to represent a release code-name.
333         Often the same as the branch. (default: master)
334     :submodule-recursive: Whether to checkout submodules recursively.
335         (default: true)
336
337     :gerrit_merge_triggers: Override Gerrit Triggers.
338     :gerrit_trigger_file_paths: Override file paths which can be used to
339         filter which file modifications will trigger a build.
340         (default defined by lf_jjb_common)
341
342
343 JJB Verify
344 ----------
345
346 Runs `jenkins-jobs test` to validate JJB syntax
347
348 :Template Names:
349     - {project-name}-jjb-verify
350     - gerrit-jjb-verify
351     - github-jjb-verify
352
353 :Required parameters:
354
355     :build-node: The node to run build on.
356     :jenkins-ssh-credential: Credential to use for SSH. (Generally should
357         be configured in defaults.yaml)
358     :mvn-settings: The name of settings file containing credentials for
359         the project.
360
361 :Optional parameters:
362
363     :branch: Git branch to fetch for the build. (default: master)
364     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
365     :build-timeout: Timeout in seconds before aborting build. (default: 10)
366     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
367     :stream: Keyword that can be used to represent a release code-name.
368         Often the same as the branch. (default: master)
369     :submodule-recursive: Whether to checkout submodules recursively.
370         (default: true)
371
372     :gerrit_verify_triggers: Override Gerrit Triggers.
373     :gerrit_trigger_file_paths: Override file paths which can be used to
374         filter which file modifications will trigger a build.
375         (default defined by lf_jjb_common)
376
377
378 .. _gjjb-packer-merge:
379
380 Packer Merge
381 ------------
382
383 Packer Merge job runs `packer build` to build system images in the cloud.
384
385 :Template Names:
386     - {project-name}-packer-merge-{platforms}-{templates}
387     - gerrit-packer-merge
388     - github-packer-merge
389
390 :Required parameters:
391
392     :build-node: The node to run build on.
393     :jenkins-ssh-credential: Credential to use for SSH. (Generally should
394         be configured in defaults.yaml)
395     :mvn-settings: The name of settings file containing credentials for
396         the project.
397     :platforms: Platform or distribution to build. Typically json file
398         found in the packer/vars directory. (Example: centos)
399     :template: System template to build. Typically shell script found in
400         the packer/provision directory. (Example: java-builder)
401
402 :Optional parameters:
403
404     :branch: Git branch to fetch for the build. (default: master)
405     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
406     :build-timeout: Timeout in seconds before aborting build. (default: 10)
407     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
408     :packer-cloud-settings: Name of settings file containing credentials
409         for the cloud that packer will build on. (default: packer-cloud-env)
410     :packer-version: Version of packer to install / use in build. (default: 1.0.2)
411     :stream: Keyword that can be used to represent a release code-name.
412         Often the same as the branch. (default: master)
413     :submodule-recursive: Whether to checkout submodules recursively.
414         (default: true)
415
416     :gerrit_verify_triggers: Override Gerrit Triggers.
417
418
419 .. _gjjb-packer-verify:
420
421 Packer Verify
422 -------------
423
424 Packer Verify job runs `packer validate` to verify packer configuration.
425
426 :Template Names:
427     - {project-name}-packer-verify
428     - gerrit-packer-verify
429     - github-packer-verify
430
431 :Required parameters:
432
433     :build-node: The node to run build on.
434     :jenkins-ssh-credential: Credential to use for SSH. (Generally should
435         be configured in defaults.yaml)
436     :mvn-settings: The name of settings file containing credentials for
437         the project.
438
439 :Optional parameters:
440
441     :branch: Git branch to fetch for the build. (default: master)
442     :build-days-to-keep: Days to keep build logs in Jenkins. (default: 7)
443     :build-timeout: Timeout in seconds before aborting build. (default: 10)
444     :git-url: URL clone project from. (default: $GIT_URL/$PROJECT)
445     :packer-cloud-settings: Name of settings file containing credentials
446         for the cloud that packer will build on. (default: packer-cloud-env)
447     :packer-version: Version of packer to install / use in build. (default: 1.0.2)
448     :stream: Keyword that can be used to represent a release code-name.
449         Often the same as the branch. (default: master)
450     :submodule-recursive: Whether to checkout submodules recursively.
451         (default: true)
452
453     :gerrit_verify_triggers: Override Gerrit Triggers.
454     :gerrit_trigger_file_paths: Override file paths which can be used to
455         filter which file modifications will trigger a build.