HTTP Archive et Web Almanac : données ouvertes sur les scripts publicitaires, ads.txt et le poids des pages
L'essentiel
- HTTP Archive explore chaque mois des millions d'URL issues du Chrome UX Report, sur Chrome pour ordinateur et sur Chrome mobile émulé, et publie les résultats dans BigQuery.
- Les tables principales sont httparchive.crawl.pages (une ligne par page testée) et httparchive.crawl.requests (une ligne par ressource) ; toute requête sur ces tables doit filtrer sur la colonne date.
- Une métrique personnalisée « ads » enregistre, pour chaque page testée, si ads.txt, app-ads.txt et sellers.json ont été trouvés, combien d'enregistrements DIRECT et RESELLER ils contiennent et quelles variables ils utilisent.
- Le Web Almanac transforme ces données en chapitres annuels ; l'édition 2025 n'a pas de chapitre consacré à la publicité, mais son chapitre Third Parties place la publicité (ad) parmi les premières catégories de tiers.
- BigQuery facture selon le volume d'octets traités et le palier gratuit mensuel couvre 1 To : vérifiez l'estimation de la requête avant d'exécuter quoi que ce soit sur ces tables.

HTTP Archive est un jeu de données public et gratuit qui enregistre comment sont construits des millions de sites populaires, exploré chaque mois et stocké dans Google BigQuery. Pour un éditeur AdSense, il répond à des questions qu’aucun site isolé ne peut résoudre : à quel point ads.txt est répandu, quelle ad tech apparaît sur quelle catégorie de sites, et combien pèse le code tiers. Le Web Almanac en publie chaque année des analyses fondées sur les mêmes données.
Ce que mesure réellement HTTP Archive
D’après la FAQ d’HTTP Archive, la liste d’URL est tirée du Chrome UX Report (CrUX), transmise à une instance privée de WebPageTest le deuxième mardi de chaque mois, puis testée sur Chrome pour ordinateur et sur Chrome Android émulé, depuis des régions Google Cloud situées aux États-Unis. Chaque test enregistre l’archive HTTP complète (toutes les requêtes), un rapport Lighthouse, les technologies détectées et un ensemble de « métriques personnalisées » JavaScript.
Deux conséquences comptent pour la recherche sur la publicité :
- C’est un échantillon de sites populaires. Un site pas assez populaire pour figurer dans CrUX n’est pas dans HTTP Archive. Les petits blogs de niche sont sous-représentés.
- C’est une exploration en laboratoire depuis les États-Unis. Les annonces diffusées, les bandeaux de consentement affichés et le poids des pages dépendent de la localisation et de l’état du consentement. Un robot situé dans un centre de données américain ne voit pas forcément ce que voit un visiteur en Allemagne après avoir accepté un message de consentement.
Quelles tables interroger ?
Le guide de démarrage liste les tables actuelles :
| Table | Une ligne par | À utiliser pour |
|---|---|---|
httparchive.crawl.pages |
page testée | technologies, métriques personnalisées (dont ads.txt), résultats Lighthouse, rang |
httparchive.crawl.requests |
ressource demandée | domaines tiers, octets par type de requête |
httparchive.blink_features.usage |
synthèse par fonctionnalité | adoption des API du navigateur |
La référence de la table pages documente les colonnes que vous utiliserez le plus : date (l’exploration mensuelle, obligatoire dans toute requête), client ('desktop' ou 'mobile'), page, is_root_page, root_page, rank (un rang de popularité issu de CrUX), technologies (un tableau de technologies détectées avec technology, categories et info) et custom_metrics.
Configurer l’accès en cinq minutes
- Ouvrez la console BigQuery dans un projet Google Cloud.
- Cliquez sur + Add, choisissez Star a project by name et saisissez
httparchive(sensible à la casse). - Rédigez vos requêtes sur
httparchive.crawl.pages, toujours avec un filtre surdate. - Avant d’exécuter, lisez l’estimation « This query will process X » en haut à droite de l’éditeur.
Le palier gratuit couvre 1 To de données traitées par mois. Le guide de démarrage situe crawl.pages à environ 30 To et crawl.requests à environ 199 To : une requête sans filtre peut donc coûter cher en quelques secondes.
Comment mesurer l’adoption d’ads.txt ?
HTTP Archive exécute une métrique personnalisée ads sur chaque page testée. La référence de la métrique personnalisée ads indique qu’elle figure sous custom_metrics.other sous le nom ads, avec trois objets : ads (ads.txt), app_ads (app-ads.txt) et sellers (sellers.json). Pour ads.txt, elle enregistre present, status, redirected, account_count, account_types.direct et account_types.reseller (chacun avec domains, account_count et domain_count), line_count et variables. Le script qui la produit se trouve dans le dépôt custom-metrics (Apache-2.0).
Cette requête renvoie la part des pages d’accueil qui servent un fichier ads.txt, par tranche de rang de popularité :
-- ads.txt presence on mobile home pages, by CrUX rank bucket
SELECT
rank,
COUNT(0) AS sites,
COUNTIF(SAFE.BOOL(custom_metrics.other.ads.ads.present)) AS with_ads_txt,
ROUND(100 * SAFE_DIVIDE(
COUNTIF(SAFE.BOOL(custom_metrics.other.ads.ads.present)), COUNT(0)), 1) AS pct
FROM `httparchive.crawl.pages`
WHERE date = '2026-10-01' -- pick a crawl month (always the 1st)
AND client = 'mobile'
AND is_root_page
GROUP BY rank
ORDER BY rank;
À savoir avant de l’exécuter :
- Remplacez la date par une exploration qui existe. Les explorations sont indexées sur le premier jour du mois.
custom_metricsest une colonne lourde. Vérifiez l’estimation d’octets ; si elle dépasse ce que vous acceptez de payer, ajoutezTABLESAMPLE SYSTEM (1 PERCENT)après le nom de la table pendant la mise au point.- « Présent » signifie que le robot a obtenu une réponse positive à une URL se terminant par
/ads.txt. La syntaxe n’est pas validée. Pour savoir à quoi ressemble une ligne AdSense correcte, voir ads.txt ligne par ligne.
Pour savoir combien de sites déclarent Google comme vendeur DIRECT, lisez le tableau account_types.direct.domains, qui contient les domaines de systèmes publicitaires trouvés sur les lignes DIRECT :
-- Share of ads.txt files with google.com on a DIRECT line
SELECT
COUNTIF(SAFE.BOOL(custom_metrics.other.ads.ads.present)) AS with_ads_txt,
COUNTIF('google.com' IN UNNEST(
JSON_VALUE_ARRAY(custom_metrics.other.ads.ads.account_types.direct.domains))) AS google_direct
FROM `httparchive.crawl.pages`
WHERE date = '2026-10-01'
AND client = 'mobile'
AND is_root_page;
La métrique personnalisée met en minuscules le type de relation mais conserve le domaine tel qu’il est écrit dans le fichier : une ligne écrite Google.com ne correspondrait donc pas. Ajoutez LOWER() si vous avez besoin de comptages exacts.
Comment trouver l’ad tech utilisée par un groupe de sites ?
La colonne technologies contient les détections issues du fork de Wappalyzer maintenu par HTTP Archive. Sa liste de catégories comprend « Advertising », et sa liste de technologies comprend « Google AdSense » et « Prebid ». Comptez les détections ainsi :
-- Top advertising technologies on mobile home pages
SELECT
t.technology,
COUNT(DISTINCT root_page) AS sites
FROM `httparchive.crawl.pages`,
UNNEST(technologies) AS t,
UNNEST(t.categories) AS category
WHERE date = '2026-10-01'
AND client = 'mobile'
AND is_root_page
AND category = 'Advertising'
GROUP BY t.technology
ORDER BY sites DESC
LIMIT 25;
Les détections reposent sur des motifs. Un site qui utilise Ad Manager pour diffuser de la demande AdSense, ou qui ne charge les annonces qu’après le consentement, peut être détecté autrement que ne le décrirait son propriétaire. Utilisez ces chiffres pour comparer des groupes (par exemple des tranches de rang ou des CMS) plutôt que comme un recensement exact.
Quel est le poids du code tiers, et que dit le Web Almanac ?
Pour le poids des pages, interrogez crawl.requests en regroupant par hôte de la requête, ou partez du Web Almanac, qui a déjà fait le travail et publie son SQL.
Le chapitre Third Parties 2025 (publié en janvier 2026) indique que les premières catégories de tiers sont la publicité (ad), l’analytique et les CDN, que 90 à 92 % des pages, tous groupes de rang confondus, utilisent au moins un tiers, et que la page médiane effectue 83 requêtes tierces sur ordinateur et 79 sur mobile. Il désigne aussi adservice.google.com comme le deuxième destinataire de signaux de consentement parmi les sites les mieux classés, derrière pubmatic.com.
Le chapitre Privacy 2024 a mesuré les cadres de consentement sur les pages d’accueil : 4,2 % utilisaient une version quelconque du TCF de l’IAB et 4,0 % le TCF v2, Automattic étant la CMP conforme TCF v2 la plus courante dans son échantillon mobile. Si vous diffusez du trafic dans l’EEE, ces chiffres rappellent que les outils de consentement sont encore loin d’être universels ; l’exigence propre à Google est traitée dans les CMP certifiées pour AdSense.
L’édition 2025 n’a pas de chapitre consacré à la publicité (ses 16 chapitres vont de Fonts à Cookies). Les éditions plus anciennes restent en ligne, mais citez toujours l’année de l’édition et la date d’exploration avec tout chiffre.
Un flux de travail reproductible pour votre propre recherche
- Formulez la question comme une comparaison. « Les sites de la tranche des 10 000 premiers listent-ils plus de lignes RESELLER que les autres ? » appelle une réponse. « Qu’est-ce qu’un bon ads.txt ? » n’en appelle pas.
- Prototypez sur un échantillon.
TABLESAMPLE SYSTEM (0.1 PERCENT)limite les coûts pendant que vous corrigez le SQL. - Fixez un mois d’exploration et un client. Mélanger ordinateur et mobile compte les sites en double.
- Exécutez la requête complète une seule fois et enregistrez la table de résultats dans votre propre jeu de données.
- Publiez le SQL avec le résultat. N’importe qui peut le relancer, ce qui est tout l’intérêt des données ouvertes.
Erreurs courantes
- Oublier le filtre sur la date. La documentation le dit obligatoire, et c’est aussi lui qui maîtrise la facture.
- Lire les métriques personnalisées comme des chaînes. Ce sont des données JSON. Utilisez
SAFE.BOOL,SAFE.INT64,JSON_VALUEouJSON_VALUE_ARRAYpour les convertir. - Prendre HTTP Archive pour votre trafic. Il montre comment sont construits des sites populaires, pas comment se comporte votre audience. Pour la performance terrain des utilisateurs réels de Chrome, utilisez le Chrome UX Report.
- Citer d’anciens chiffres comme actuels. Les chapitres du Web Almanac sont des instantanés. Indiquez l’année et le mois.
- Supposer que l’exploration voit les annonces soumises au consentement. Si un site ne charge le code publicitaire qu’après acceptation d’un message de consentement, un test automatisé qui ne clique jamais sur « accepter » peut ne pas l’enregistrer. Interprétez avec prudence les faibles comptages d’ad tech sur les sites tournés vers l’EEE.
Pour aller au-delà des sites en tête de CrUX et tester une liste qui vous est propre, le guide de recherche ads.txt avec Tranco présente un petit robot open source que vous contrôlez.
Outils open source cités
| Outil | Licence |
|---|---|
| HTTP Archive custom metrics | Apache-2.0 |
| Web Almanac (site and analysis code) | Apache-2.0 |
Questions fréquentes
Les données d'HTTP Archive sont-elles libres d'utilisation ?
Les données se trouvent dans un projet BigQuery public : vous ne payez que les octets traités par vos requêtes, et le palier gratuit de BigQuery couvre 1 To de données traitées par mois. Les pages d'HTTP Archive consultées pour ce guide n'indiquent pas de licence pour le jeu de données lui-même ; les dépôts de code du projet et le site du Web Almanac sont publiés sous Apache-2.0. Citez HTTP Archive et la date d'exploration lorsque vous réutilisez des chiffres.
HTTP Archive teste-t-il toutes les pages d'un site ?
Non. La liste d'URL provient du Chrome UX Report, et la table pages comporte une colonne is_root_page qui distingue les pages d'accueil des autres pages testées. Filtrez sur is_root_page = TRUE pour obtenir une ligne par site. Les résultats décrivent un échantillon d'origines populaires, pas votre propre trafic : considérez-les comme une référence sectorielle, pas comme une prévision pour votre site.
Puis-je vérifier dans HTTP Archive si un concurrent précis utilise AdSense ?
Oui, si le site fait partie de l'exploration. Filtrez crawl.pages sur root_page ou page et dépliez la colonne technologies, qui liste les technologies détectées par le robot, comme Google AdSense ou Prebid. Un site absent n'est généralement pas assez populaire pour figurer dans la liste du Chrome UX Report qui alimente l'exploration.
Pourquoi ma requête a-t-elle coûté si cher ?
Les colonnes JSON (payload, custom_metrics, lighthouse) sont très volumineuses, et le guide de démarrage situe crawl.pages à environ 30 To. Filtrez toujours sur date, client et is_root_page, ne sélectionnez que les colonnes nécessaires, lisez l'estimation d'octets dans la console BigQuery avant de lancer la requête et utilisez TABLESAMPLE pendant la mise au point.
Sources
- Getting started | HTTP Archive Docs · HTTP Archive
- Pages table reference | HTTP Archive Docs · HTTP Archive
- Ads custom metric | HTTP Archive Docs · HTTP Archive
- HTTP Archive FAQ · HTTP Archive
- Third Parties | 2025 | The Web Almanac · HTTP Archive
- Privacy | 2024 | The Web Almanac · HTTP Archive
Guides liés
- Chrome UX Report (CrUX) pour les éditeurs : les Core Web Vitals terrain de tout site populaire
Obtenez gratuitement les Core Web Vitals terrain de votre site et de vos concurrents avec CrUX : API, SQL BigQuery, métriques publicitaires, absence de données.
- Étudier l'adoption d'ads.txt avec la liste Tranco des meilleurs sites : une analyse testée et reproductible
Utilisez le classement Tranco pour choisir des domaines et analyser leurs fichiers ads.txt : script Python testé, résultats réels du top 500 et pièges à éviter.
- Syntaxe d'ads.txt pour AdSense, ligne par ligne : ID pub, DIRECT, ID TAG, commentaires et variables
La ligne ads.txt d'AdSense champ par champ : google.com, votre ID pub, DIRECT, f08c47fec0942fa0, plus commentaires, variables et erreurs de format.
- Spécifications IAB Tech Lab et IAB Europe : ce qu'un éditeur AdSense doit savoir
Quelles normes comptent pour un éditeur AdSense : ads.txt 1.1, sellers.json, SupplyChain, OpenRTB, TCF et GPP, avec les versions actuelles et ce qu'elles exigent.