Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

java.net.ConnectException: Connection timed out on jenkins-workspace machines #3037

Closed
richardlau opened this issue Sep 23, 2022 · 11 comments
Closed

java.net.ConnectException: Connection timed out on jenkins-workspace machines #3037

richardlau opened this issue Sep 23, 2022 · 11 comments
Labels
ci-public incident

Comments

@richardlau
Copy link
Member

Currently we're seeing a spate of java.net.ConnectException: Connection timed out on the jenkins-workspace machines in the CI. At first I thought it was the new jenkins-workspace machines but taking those offline and putting the old ones back online shows those are also exhibiting the issue.

e.g. https://ci.nodejs.org/job/node-test-commit-arm-debug/4135/console
test-packetnet-ubuntu1804-x64-1

22:13:11  > git clean -fdx # timeout=10
22:13:11 Exporting environment variable NODEJS_VERSION with Node.js version '19.0.0'
22:13:11 Exporting environment variable NODEJS_MAJOR_VERSION with Node.js major version '19'
22:13:11 Exporting parameter NODEJS_VERSION with Node.js version '19.0.0'
22:13:11 Exporting parameter NODEJS_MAJOR_VERSION with Node.js major version '19'
22:15:21 FATAL: Connection timed out
22:15:21 java.net.ConnectException: Connection timed out
22:15:21 	at java.base/sun.nio.ch.Net.connect0(Native Method)
22:15:21 	at java.base/sun.nio.ch.Net.connect(Net.java:579)
22:15:21 	at java.base/sun.nio.ch.Net.connect(Net.java:568)

https://ci.nodejs.org/job/node-test-commit-linux/47617/console
test-ibm-ubuntu1804-x64-1

22:10:54  > git clean -fdx # timeout=10
22:10:54 Exporting environment variable NODEJS_VERSION with Node.js version '19.0.0'
22:10:54 Exporting environment variable NODEJS_MAJOR_VERSION with Node.js major version '19'
22:10:54 Exporting parameter NODEJS_VERSION with Node.js version '19.0.0'
22:10:54 Exporting parameter NODEJS_MAJOR_VERSION with Node.js major version '19'
22:13:04 FATAL: Connection timed out
22:13:04 java.net.ConnectException: Connection timed out
22:13:04 	at java.base/sun.nio.ch.Net.connect0(Native Method)
22:13:04 	at java.base/sun.nio.ch.Net.connect(Net.java:579)
22:13:04 	at java.base/sun.nio.ch.Net.connect(Net.java:568)

It's not consistent (several jobs running on the same jenkins-workspace machines pass) but often that I've not had a clean node-test-commit run in the last couple of hours.

Note that this git server being contacted prior to the time outs is github.com and not the temp binary repository (which is only used by the windows-fanned and arm-fanned jobs).
@richardlau
Copy link
Member Author

The expected output, without the ConnectException, is

22:11:28  > git clean -fdx # timeout=10
22:11:28 Exporting environment variable NODEJS_VERSION with Node.js version '19.0.0'
22:11:28 Exporting environment variable NODEJS_MAJOR_VERSION with Node.js major version '19'
22:11:28 Exporting parameter NODEJS_VERSION with Node.js version '19.0.0'
22:11:28 Exporting parameter NODEJS_MAJOR_VERSION with Node.js major version '19'
22:11:28 Got matrix selection script from https://github.com/raw/nodejs/build/master/jenkins/scripts/VersionSelectorScript.groovy?:
22:11:28 -------------------------------------------------------------------

It's unclear to me whether the exception is occurring during the git step or the subsequent fetch of the VersionSelectorScript.groovy script.

@Trott Trott mentioned this issue Sep 23, 2022
Closed
@richardlau
Copy link
Member Author

I put an extra print statement in the Groovy Script Matrix Executor Strategy script for https://ci.nodejs.org/job/node-test-commit-linux/ so that it starts:

def scriptUrl = 'https://github.com/raw/nodejs/build/master/jenkins/scripts/VersionSelectorScript.groovy?'
println "Fetching matrix selection script from ${scriptUrl}:"
def code = new URL(scriptUrl).getText(useCaches: false, requestProperties: ['Connection': 'close'])
println "Got matrix selection script from ${scriptUrl}:"
println "-------------------------------------------------------------------"

(the "Fetching..." line is the addition).

https://ci.nodejs.org/job/node-test-commit-linux/47624/console failed:

01:07:58  > git clean -fdx # timeout=10
01:07:59 Exporting environment variable NODEJS_VERSION with Node.js version '19.0.0'
01:07:59 Exporting environment variable NODEJS_MAJOR_VERSION with Node.js major version '19'
01:07:59 Exporting parameter NODEJS_VERSION with Node.js version '19.0.0'
01:07:59 Exporting parameter NODEJS_MAJOR_VERSION with Node.js major version '19'
01:07:59 Fetching matrix selection script from https://github.com/raw/nodejs/build/master/jenkins/scripts/VersionSelectorScript.groovy?:
01:10:09 FATAL: Connection timed out
01:10:09 java.net.ConnectException: Connection timed out
01:10:09 	at java.base/sun.nio.ch.Net.connect0(Native Method)
01:10:09 	at java.base/sun.nio.ch.Net.connect(Net.java:579)
01:10:09 	at java.base/sun.nio.ch.Net.connect(Net.java:568)

so it looks like it's the part of the Groovy script that fetches VersionSelectorScript.groovy that is timing out.

@tniessen tniessen mentioned this issue Sep 24, 2022
Merged
@richardlau
Copy link
Member Author

Possibly related:
https://ci.nodejs.org/job/node-test-commit-linux/47653/nodes=ubuntu1804-64/console looks like the first curl from https://github.com/raw/ took longer than expected and the build failed at the second one. In these cases Groovy isn't involved but both are accessing https://github.com/raw/ URLs which the Groovy scripts also are doing.

12:11:57 + curl https://github.com/raw/nodejs/build/main/jenkins/scripts/node-test-commit-diagnostics.sh
12:11:57 + bash -ex -s before
12:11:57   % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
12:11:57                                  Dload  Upload   Total   Spent    Left  Speed
12:11:57 
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:05 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:06 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:07 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:08 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:09 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:10 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:11 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:12 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:13 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:14 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:15 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:16 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:17 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:18 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:19 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:20 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:21 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:22 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:23 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:24 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:25 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:26 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:27 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:28 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:29 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:30 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:31 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:32 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:33 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:34 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:35 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:36 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:37 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:38 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:39 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:40 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:41 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:42 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:43 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:44 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:45 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:46 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:47 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:48 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:49 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:50 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:51 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:52 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:53 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:54 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:55 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:56 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:57 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:58 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:00:59 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:00 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:05 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:06 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:07 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:08 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:09 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:10 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:11 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:12 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:13 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:14 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:15 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:16 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:17 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:18 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:19 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:20 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:21 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:22 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:23 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:24 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:25 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:26 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:27 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:28 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:29 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:30 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:31 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:32 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:33 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:34 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:35 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:36 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:37 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:38 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:39 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:40 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:41 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:42 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:43 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:44 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:45 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:46 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:47 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:48 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:49 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:50 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:51 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:52 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:53 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:54 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:55 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:56 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:57 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:58 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:01:59 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:00 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:05 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:06 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:07 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:08 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:10 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:11 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:12 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:13 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:14 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:15 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:16 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:17 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:18 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:19 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:20 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:21 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:22 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:23 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:24 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:25 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:26 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:27 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:28 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:29 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:30 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:31 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:32 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:33 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:34 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:35 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:36 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:37 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:38 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:39 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:40 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:41 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:42 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:43 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:44 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:45 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:46 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:47 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:48 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:49 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:50 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:51 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:52 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:53 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:54 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:55 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:56 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:57 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:58 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:02:59 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:00 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:05 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:06 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:07 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:08 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:09 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:10 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:11 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:12 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:13 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:14 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:15 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:16 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:17 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:18 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:19 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:20 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:21 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:22 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:23 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:24 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:25 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:26 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:27 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:28 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:29 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:30 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:31 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:32 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:33 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:34 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:35 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:36 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:37 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:38 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:39 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:40 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:41 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:42 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:43 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:44 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:45 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:46 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:47 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:48 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:49 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:50 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:51 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:52 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:53 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:54 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:55 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:55 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:56 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:57 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:58 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:03:59 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:00 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:01 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:02 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:03 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:04 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:05 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:06 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:07 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:08 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:09 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:10 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:11 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:12 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:13 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:14 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:15 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:16 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:17 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:18 --:--:--     0
  0     0    0     0    0     0      0      0 --:--:--  0:04:19 --:--:--     0
100  1130  100  1130    0     0      4      0  0:04:42  0:04:20  0:00:22   242
12:16:18 + set +x
...
12:16:18 + curl -sLO https://github.com/raw/nodejs/build/master/jenkins/scripts/select-compiler.sh
12:21:18 Build step 'Execute shell' marked build as failure

@richardlau
Copy link
Member Author

This one as well:
https://ci.nodejs.org/job/node-test-commit-linux/nodes=ubuntu1804-64/47621/console
In this case there was another issue failing that build (with the local git checkout) but the post build step also attempts to curl a https://github.com/raw and curl timed out after five minutes.

@targos targos mentioned this issue Sep 26, 2022
Closed
@targos
Copy link
Member

targos commented Sep 26, 2022

Maybe this should be reported to GitHub?

@richardlau
Copy link
Member Author

Maybe this should be reported to GitHub?

How does one do that?

@targos
Copy link
Member

targos commented Sep 26, 2022

I'd try with https://support.github.com/contact/bug-report

@targos
Copy link
Member

targos commented Sep 26, 2022

Assuming it's https://github.com/raw/ that sometimes never responds.

@richardlau
Copy link
Member Author

I've opened a ticket (https://support.github.com/ticket/personal/0/1810165) but it doesn't look like it is visible to anyone else despite selecting "Node.js" as the "Account or organization" 😞
image

@richardlau
Copy link
Member Author

I have a sporadic command line recreate on one of our Digital Ocean droplets with curl -v. (Used -4 on this host as it doesn't have a working IPv6 route):

# curl -v -4 https://github.com/raw/nodejs/build/master/jenkins/scripts/node-test-commit-diagnostics.
sh
*   Trying 185.199.110.133...
* TCP_NODELAY set
* connect to 185.199.110.133 port 443 failed: Connection timed out
*   Trying 185.199.111.133...
* TCP_NODELAY set
* After 84531ms connect time, move on!
* connect to 185.199.111.133 port 443 failed: Connection timed out
*   Trying 185.199.109.133...
* TCP_NODELAY set
* Connected to raw.githubusercontent.com (185.199.109.133) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
...

Eventually this succeeds but only after the first few attempts to 185.199.110.133 and 185.199.111.133 timed out. 185.199.109.133 succeeded (note that the third octet is different in each case).

@richardlau
Copy link
Member Author

It appears that the recent builds today/last night are not encountering this issue, hopefully it's resolved itself 🤞. (FTR we haven't done anything to fix this and GH haven't responded to the ticket I raised.)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
ci-public incident
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@targos @richardlau