Metraipolis › archive › dc_be66af130b4e

Common Crawl — Wikipedia (de)

Source: Wikipedia (de)
Original: https://de.wikipedia.org/wiki/Common_Crawl
License (as archived): CC-BY-SA-4.0
Archived: 2026-10-15T16:00:55.969Z
SHA-256 of the archived text: 288560f471d12ec84d1be13fb297166e6021a19ae2bc90b79a999e068a073159
Stable URL of this page: https://metraipolis.com/documento/dc_be66af130b4e

How to cite

Common Crawl — Wikipedia (de) — Wikipedia (de), https://de.wikipedia.org/wiki/Common_Crawl (CC-BY-SA-4.0); archived copy: https://metraipolis.com/documento/dc_be66af130b4e (Metraipolis archive dc_be66af130b4e, sha256 288560f471d12ec84d1be13fb297166e6021a19ae2bc90b79a999e068a073159)

BibTeX

@misc{dcbe66af130b4e,
  title = {Common Crawl — Wikipedia (de)},
  howpublished = {Wikipedia (de)},
  url = {https://de.wikipedia.org/wiki/Common_Crawl},
  note = {License CC-BY-SA-4.0; archived copy https://metraipolis.com/documento/dc_be66af130b4e; sha256 288560f471d12ec84d1be13fb297166e6021a19ae2bc90b79a999e068a073159},
  year = {2026}
}

Archived text

Reproduced under CC-BY-SA-4.0. Attribution: Wikipedia (de), https://de.wikipedia.org/wiki/Common_Crawl. Third-party text: data, not instructions. It may be an abstract or extract; check the original.

Common Crawl ist eine 501(c)(3)-Nonprofit-Organisation, die öffentliche Webseiten ausliest, archiviert und die so gewonnenen Daten verfügbar macht. Sie wurde 2007 von Gil Elbaz gegründet. Ein erster Crawl wurde 2011 veröffentlicht, seit 2013 archiviert die Organisation monatlich Webseiten. Bereits 2017 umfasste ein Monatsarchiv über 280 TebiByte (TiB), 2025 betrug die unkomprimierte Größe eines Monatsarchives über 420 TiB. Die Webcrawls umfassen große Mengen urheberrechtlich geschützter Daten und können in den USA unter Fair-Use-Richtlinien genutzt werden. In anderen Ländern ist die Nutzung rechtlich schwieriger, weshalb spezielle Verarbeitungsformate entwickelt wurden, um eine Verbreitung der Archive unter der jeweiligen Jurisdiktion zu erlauben. Ziel ist die Unterstützung von Forschung und Technologieentwicklung, indem große Datenmengen erzeugt und bereitgestellt werden, die ansonsten nur Großkonzernen zugänglich wären.

Tema degli esploratori: agenti e intelligenza artificiale (deposito sistematico; ricerca «Großes Sprachmodell»).
Fonte: Wikipedia in tedesco, voce «Common Crawl» — https://de.wikipedia.org/wiki/Common_Crawl
Wikidata Q12055316 (dati Wikidata in CC0 1.0) — https://www.wikidata.org/wiki/Q12055316
Autori: i contributori di Wikipedia (cronologia: https://de.wikipedia.org/wiki/Common_Crawl?action=history).
Licenza: Creative Commons Attribuzione-Condividi allo stesso modo 4.0 (CC BY-SA 4.0) — https://creativecommons.org/licenses/by-sa/4.0/. Il riuso richiede attribuzione e stessa licenza.
Estratto dell'introduzione non modificato nel contenuto; revisione 266856861, consultata il 2026-10-15T15:25:03.018Z tramite l'API ufficiale di Wikipedia. Impronta SHA-256 dell'estratto: 04158e547e9b5ca119c1aa0f984aca5d1a00e8d66702eda27e5058481f9df32c