Quelle  TestExpectations.json   Sprache: unbekannt

[
  {
    "testIdPattern": "[autofill.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[bfcache.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Chrome-only feature blocked on https://github.com/GoogleChromeLabs/chromium-bidi/issues/2082"
  },
  {
    "testIdPattern": "[device-request-prompt.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[devtools.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[download.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "This feature is not supported by WebDriver BiDi"
  },
  {
    "testIdPattern": "[drag-and-drop.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[drag-and-drop.spec] Legacy Drag n' Drop *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[extensions.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "No extensions in WebDriver BiDi so far"
  },
  {
    "testIdPattern": "[extensions.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "Chrome-specific test"
  },
  {
    "testIdPattern": "[headful.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["headless"],
    "expectations": ["SKIP"],
    "comment": "Spawns headful browser, needs display or `xvfb` like which is not required for other headless tests"
  },
  {
    "testIdPattern": "[idle_override.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests Page.waitForFileChooser *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "No BiDi spec support for this"
  },
  {
    "testIdPattern": "[interventionHeaders.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "This is Chromium-specific test"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch *",
    "platforms": ["win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Page.setBypassServiceWorker *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Page.setBypassServiceWorker *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Request.isNavigationRequest *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Response.buffer *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Response.json *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Response.remoteAddress *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Bidi does not have equivalent field"
  },
  {
    "testIdPattern": "[network.spec] network Response.text *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.metrics *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[pdf.spec] Page.pdf *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[pipe.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "Firefox does not support --remote-debugging-pipe argument"
  },
  {
    "testIdPattern": "[proxy.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "Chrome-specific test"
  },
  {
    "testIdPattern": "[screencast.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome"],
    "expectations": ["SKIP"],
    "comment": "Currently no reliable ffmpeg downloads for testing https://github.com/puppeteer/puppeteer/issues/12121"
  },
  {
    "testIdPattern": "[screencast.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "CDP-specific feature"
  },
  {
    "testIdPattern": "[screenshot.spec] Screenshots Cdp *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[worker.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[accessibility.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[ariaqueryhandler.spec] AriaQueryHandler queryAllArray $$eval should handle many elements",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Causes to exceed the allowed log size for error summary for CI jobs"
  },
  {
    "testIdPattern": "[ariaqueryhandler.spec] AriaQueryHandler queryOne (Chromium web test) should find by role \"heading\"",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "WebDriver BiDi locateNodes does not support shadow roots so far"
  },
  {
    "testIdPattern": "[autofill.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "chrome-headless-shell"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[CDPSession.spec] Target.createCDPSession *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[CDPSession.spec] Target.createCDPSession should not report created targets for custom CDP sessions",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[cookies.spec] Cookie specs Page.deleteCookie should delete cookie for specified URL regardless of the current page",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "The test relies on the default page partition key do not contain the source origin. This is not the case for Firefox."
  },
  {
    "testIdPattern": "[cookies.spec] Cookie specs Page.setCookie should set secure same-site cookies from a frame",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome"],
    "expectations": ["FAIL"],
    "comment": "Failes with fieldtrial testing config in Chrome"
  },
  {
    "testIdPattern": "[coverage.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[coverage.spec] Coverage specs JSCoverage should ignore pptr internal scripts if reportAnonymousScripts is true",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[devtools.spec] DevTools should expose DevTools as a page",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[devtools.spec] DevTools should open devtools when \"devtools: true\" option is given",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[devtools.spec] DevTools target.page() should return a DevTools page if custom isPageTarget is provided",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[devtools.spec] DevTools target.page() should return Page when calling asPage on DevTools target",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[elementhandle.spec] ElementHandle specs ElementHandle.boundingBox should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[evaluation.spec] Evaluation specs Page.evaluate should replace symbols with undefined",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[evaluation.spec] Evaluation specs Page.evaluate should return properly serialize objects with unknown type fields",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[evaluation.spec] Evaluation specs Page.evaluate should work for circular object",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[extensions.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "chrome-headless-shell"],
    "expectations": ["SKIP"],
    "comment": "No extensions in chrome-headless-shell"
  },
  {
    "testIdPattern": "[fixtures.spec] Fixtures dumpio option should work with pipe option",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[frame.spec] Frame specs Frame.prototype.frameElement should handle shadow roots",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/w3c/webdriver-bidi/issues/794"
  },
  {
    "testIdPattern": "[jshandle.spec] JSHandle JSHandle.jsonValue should not throw for circular objects",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[jshandle.spec] JSHandle JSHandle.jsonValue should work with dates",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[jshandle.spec] JSHandle JSHandle.toString should work with window subtypes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "CDP does not have special type for window"
  },
  {
    "testIdPattern": "[jshandle.spec] JSHandle Page.evaluateHandle should return the RemoteObject",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Browser.disconnect *",
    "platforms": ["win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Browser.disconnect should reject waitForSelector when browser closes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.executablePath returns executablePath for channel",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch should work with no default arguments",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch should work with no default arguments",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[mouse.spec] Mouse should not throw if buttons are pressed twice",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[mouse.spec] Mouse should reset properly",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Frame.goto should return matching responses",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should send referer",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Request.initiator should return the initiator",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Request.isNavigationRequest should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[network.spec] network Request.isNavigationRequest should work when navigating to image",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[network.spec] network Request.isNavigationRequest should work with request interception",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[network.spec] network Request.postData should work with blobs",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Not implemented for BiDi yet."
  },
  {
    "testIdPattern": "[network.spec] network Request.resourceType *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Bidi does not have equivalent field"
  },
  {
    "testIdPattern": "[network.spec] network Response.fromCache should work for *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Response.fromServiceWorker Response.fromServiceWorker",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[oopif.spec] OOPIF should evaluate on a page with a PDF viewer",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome-headless-shell"],
    "expectations": ["FAIL"],
    "comment": "chrome-headless-shell does not have a PDF viewer"
  },
  {
    "testIdPattern": "[oopif.spec] OOPIF should retrieve body for OOPIF document requests",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Response body retrieval not yet supported in WebDriver BiDi implementations"
  },
  {
    "testIdPattern": "[page.spec] Page Page.addScriptTag should throw when added with content to the CSP page",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "See https://github.com/puppeteer/puppeteer/issues/4840"
  },
  {
    "testIdPattern": "[page.spec] Page Page.addStyleTag should throw when added with content to the CSP page",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.bringToFront should work",
    "platforms": ["darwin"],
    "parameters": ["chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "Flaky on Mac"
  },
  {
    "testIdPattern": "[page.spec] Page Page.Events.Console should have location when fetch fails",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.Events.Console should return remote objects",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "BiDi does not support getting a Handle for log args"
  },
  {
    "testIdPattern": "[page.spec] Page Page.Events.Console should return remote objects",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.Events.Console should trigger correct Log",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.Events.error should throw when page crashes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[page.spec] Page Page.pdf should respect timeout",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "https://github.com/puppeteer/puppeteer/issues/12152"
  },
  {
    "testIdPattern": "[page.spec] Page Page.setBypassCSP *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[prerender.spec] Prerender can screencast",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome"],
    "expectations": ["SKIP"],
    "comment": "Currently no reliable ffmpeg downloads for testing https://github.com/puppeteer/puppeteer/issues/12121"
  },
  {
    "testIdPattern": "[prerender.spec] Prerender can screencast",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[queryObjects.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[requestinterception-experimental.spec] cooperative request interception Page.setRequestInterception should be abortable with custom error codes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: BiDi does not support custom errors - https://github.com/w3c/webdriver-bidi/issues/508"
  },
  {
    "testIdPattern": "[requestinterception.spec] request interception Page.setRequestInterception should be abortable with custom error codes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/w3c/webdriver-bidi/issues/508"
  },
  {
    "testIdPattern": "[screencast.spec] Screencasts Page.screencast should validate options",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[screenshot.spec] Screenshots Cdp should work in \"fromSurface: false\" mode",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome-headless-shell"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[screenshot.spec] Screenshots Cdp should work in \"fromSurface: false\" mode",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["headless"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[screenshot.spec] Screenshots Page.screenshot should get screenshot bigger than the viewport",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[target.spec] Target should close a service worker",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "not supported"
  },
  {
    "testIdPattern": "[target.spec] Target should close a shared worker",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "not supported"
  },
  {
    "testIdPattern": "[TargetManager.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[tracing.spec] *",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[acceptInsecureCerts.spec] acceptInsecureCerts Response.securityDetails Network redirects should report SecurityDetails",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[acceptInsecureCerts.spec] acceptInsecureCerts Response.securityDetails should be |null| for non-secure requests",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[acceptInsecureCerts.spec] acceptInsecureCerts Response.securityDetails should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[accessibility.spec] Accessibility get snapshots while the tree is re-calculated",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[ariaqueryhandler.spec] AriaQueryHandler queryAllArray $$eval should handle many elements",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["PASS", "TIMEOUT"],
    "comment": "times out flakily"
  },
  {
    "testIdPattern": "[backendNodeId.spec] ElementHandle.backendNodeId should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "CDP-specific"
  },
  {
    "testIdPattern": "[browser.spec] Browser specs Browser.isConnected should set the browser connected state",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[browser.spec] Browser specs Browser.process should not return child_process for remote browser",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[browsercontext-cookies.spec] BrowserContext cookies BrowserContext.setCookie should set cookie with a partition key",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["PASS", "FAIL"],
    "comment": "Needs CHIPS to be enabled. See https://bugzilla.mozilla.org/show_bug.cgi?id=1931488"
  },
  {
    "testIdPattern": "[browsercontext.spec] BrowserContext should fire target events",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "In BiDi currently more events than needed are fired (because target is updated more often). We probably need to adjust the test as the behavior is not broken per se"
  },
  {
    "testIdPattern": "[browsercontext.spec] BrowserContext should work across sessions",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Firefox does not support multiple connection at this time"
  },
  {
    "testIdPattern": "[click.spec] Page.click should click the button with fixed position inside an iframe",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[click.spec] Page.click should click with disabled javascript",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[click.spec] Page.click should scroll and click with disabled javascript",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[connect.spec] Puppeteer.connect should be able to connect using browserUrl, with and without trailing slash",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "WebDriver BiDi in Firefox does not support multiple sessions"
  },
  {
    "testIdPattern": "[cookies.spec] Cookie specs Page.setCookie should default to setting secure cookie for HTTPS websites",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Chromium-specific test. The test relies on the cookie in secure context to be secure. This is not the case for Firefox."
  },
  {
    "testIdPattern": "[cookies.spec] Cookie specs Page.setCookie should set secure same-site cookies from a frame",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "chrome-headless-shell"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[cookies.spec] Cookie specs Page.setCookie should set secure same-site cookies from a frame",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Chromium-specific test. The test relies on the cookie in secure context to be secure. This is not the case for Firefox."
  },
  {
    "testIdPattern": "[device-request-prompt.spec] device request prompt can be aborted",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[device-request-prompt.spec] device request prompt does not crash",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[drag-and-drop.spec] Drag n' Drop should drag and drop",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[elementhandle.spec] ElementHandle specs ElementHandle.touchMove should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[elementhandle.spec] ElementHandle specs ElementHandle.touchMove should work with a pre-existing Touch",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateCPUThrottling should change the CPU throttling rate successfully",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateMediaFeatures should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateMediaType should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateNetworkConditions should change navigator.connection.effectiveType",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateTimezone should throw for invalid timezone IDs",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateTimezone should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.emulateVisionDeficiency should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.viewport should be detectable by Modernizr",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.viewport should detect touch when applying viewport with touches",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.viewport should support landscape emulation",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[emulation.spec] Emulation Page.viewport should support touch emulation",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[extensions.spec] extensions can evaluate in the service worker",
    "platforms": ["win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["SKIP"],
    "comment": "Flaky or failing on Windows. See https://github.com/puppeteer/puppeteer/issues/13417"
  },
  {
    "testIdPattern": "[fixtures.spec] Fixtures should close the browser when the node process closes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[fixtures.spec] Fixtures should close the browser when the node process closes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "The browser `disconnect` event is not emitted"
  },
  {
    "testIdPattern": "[frame.spec] Frame specs Frame Management should support framesets",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "In WebDriver BiDi, we cannot detect if an empty frame finished loading initial about:blank"
  },
  {
    "testIdPattern": "[frame.spec] Frame specs Frame Management should support lazy frames",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "In WebDriver BiDi, we cannot distinguish between about:blank and lazy-loading (paused) frames. See https://github.com/w3c/webdriver-bidi/issues/832"
  },
  {
    "testIdPattern": "[idle_override.spec] Emulate idle state changing idle state emulation causes change of the IdleDetector state",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["PASS"]
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should accept single file",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should accept single file",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should be able to read selected file",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should be able to read selected file",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should be able to reset selected files with empty file list",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should be able to reset selected files with empty file list",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should error on read of non-existent files",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should error on read of non-existent files",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should fail when accepting file chooser twice",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should fail when accepting file chooser twice",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should not accept multiple files for single-file input",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should not accept multiple files for single-file input",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should succeed even for non-existent files",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.accept should succeed even for non-existent files",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.cancel should cancel dialog",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.cancel should cancel dialog",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.cancel should fail when canceling file chooser twice",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.cancel should fail when canceling file chooser twice",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for \"multiple\"",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for \"multiple\"",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for \"webkitdirectory\"",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for \"webkitdirectory\"",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for single file pick",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[input.spec] input tests FileChooser.isMultiple should work for single file pick",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[keyboard.spec] Keyboard ElementHandle.press should not support |text| option",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[keyboard.spec] Keyboard should report shiftKey",
    "platforms": ["darwin"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Browser target events should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Browser target events should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Browser.Events.disconnected should be emitted when: browser gets closed, disconnected or underlying websocket gets closed",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Browser.Events.disconnected should be emitted when: browser gets closed, disconnected or underlying websocket gets closed",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Browser.close should terminate network waiters",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Browser.disconnect should reject navigation when browser closes",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Requires support for multiple sessions"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to close remote browser",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to connect multiple times to the same browser",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to connect to a browser with no page targets",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to connect to a browser with no page targets",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to connect to the same page simultaneously",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should be able to reconnect to a disconnected browser",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support acceptInsecureCerts option",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Firefox does not support multiple sessions in BiDi."
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support acceptInsecureCerts option",
    "platforms": ["darwin"],
    "parameters": ["chrome", "headless"],
    "expectations": ["SKIP"],
    "comment": "Started to flake on macos-latest (arm64)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support targetFilter option",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support targetFilter option",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support targetFilter option in puppeteer.launch",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.connect should support targetFilter option in puppeteer.launch",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.executablePath should work",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "Cannot run on Mozilla CI"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch should filter out ignored default argument in Firefox",
    "platforms": ["linux"],
    "parameters": ["firefox", "headful"],
    "expectations": ["FAIL"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch should filter out ignored default arguments in Chrome",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox"],
    "expectations": ["SKIP"],
    "comment": "Cannot run on Mozilla CI"
  },
  {
    "testIdPattern": "[launcher.spec] Launcher specs Puppeteer Puppeteer.launch should have custom URL when launching browser",
    "platforms": ["darwin"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "For some reason it times out on MacOS. Perhaps it's a bug in chromium-bidi"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goBack should work with HistoryAPI",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/w3c/webdriver-bidi/issues/502"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should work when navigating to a URL with a client redirect",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL"],
    "comment": "In CDP implementation, we sometimes get the client redirect response."
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should work when navigating to a URL with a client redirect",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/puppeteer/puppeteer/issues/12929"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should work when page calls history API in beforeunload",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/GoogleChromeLabs/chromium-bidi/issues/2856 historyUpdated from beforeunload incorrectly comes before navigationStarted"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should work when reload causes history API in beforeunload",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "https://github.com/GoogleChromeLabs/chromium-bidi/issues/2856 historyUpdated from beforeunload incorrectly comes before navigationStarted."
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.goto should work with anchor navigation",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "chrome-headless-shell"],
    "expectations": ["SKIP"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.waitForNavigation should work with DOM history.back()/history.forward()",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Test timeout: https://github.com/w3c/webdriver-bidi/issues/502"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.waitForNavigation should work with history.pushState()",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Test timeout: https://github.com/w3c/webdriver-bidi/issues/502"
  },
  {
    "testIdPattern": "[navigation.spec] navigation Page.waitForNavigation should work with history.replaceState()",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Test timeout: https://github.com/w3c/webdriver-bidi/issues/502"
  },
  {
    "testIdPattern": "[network.spec] network Network Events Page.Events.Request",
    "platforms": ["win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Network Events should fire events in proper order",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Network Events should support redirects",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Page.authenticate should allow disable authentication",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "The Puppeteer implementation does not expect 2 responseCompleted events (that AuthRequired triggered); times out sometimes."
  },
  {
    "testIdPattern": "[network.spec] network Page.authenticate should error if authentication is required but not enabled",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL", "PASS"],
    "comment": "Flaky see https://github.com/puppeteer/puppeteer/issues/12253"
  },
  {
    "testIdPattern": "[network.spec] network Page.authenticate should error if authentication is required but not enabled",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "When navigating to a page with authentication the navigate command does not error and never resolves due to the auth dialog being shown https://github.com/w3c/webdriver-bidi/issues/719"
  },
  {
    "testIdPattern": "[network.spec] network Page.authenticate should not disable caching for script",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "TODO: Needs investigation, isCached is false for the script request handle via network interception"
  },
  {
    "testIdPattern": "[network.spec] network Page.authenticate should not disable caching for stylesheet",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["SKIP"],
    "comment": "Needs Firefox support for network events for cached stylesheets https://bugzilla.mozilla.org/show_bug.cgi?id=1879438"
  },
  {
    "testIdPattern": "[network.spec] network raw network headers Cross-origin set-cookie",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["chrome", "webDriverBiDi"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network raw network headers Same-origin set-cookie subresource",
    "platforms": ["win32"],
    "parameters": ["cdp", "chrome"],
    "expectations": ["FAIL", "PASS"],
    "comment": "TODO: add a comment explaining why this expectation is required (include links to issues)"
  },
  {
    "testIdPattern": "[network.spec] network Request.postData should be |undefined| when there is no post data",
    "platforms": ["darwin", "linux", "win32"],
    "parameters": ["firefox", "webDriverBiDi"],
    "expectations": ["FAIL"],
    "comment": "Unsupported"
  },
  {
    "testIdPattern": "[network.spec] network Request.postData should work",
--> --------------------

--> maximum size reached

--> --------------------