Données ouvertes et outils

Étudier l'adoption d'ads.txt avec la liste Tranco des meilleurs sites : une analyse testée et reproductible

Mis à jour le Publié le Par la rédaction7 min5 sources

L'essentiel

  • Tranco est un classement des 1 million de meilleurs sites conçu pour la recherche : il fait la moyenne de plusieurs fournisseurs sur 30 jours pour résister à la manipulation, et chaque liste porte un identifiant permanent pour la reproductibilité.
  • Les listes se téléchargent gratuitement au format CSV, sont mises à jour chaque jour et sont aussi disponibles dans Google BigQuery et via un paquet Python.
  • Dans l'analyse des 500 premiers domaines de la liste V38GN réalisée le 18 novembre 2026, 75 ont renvoyé un ads.txt d'apparence valide, et 64 d'entre eux comportaient une ligne google.com DIRECT.
  • La plupart des domaines les mieux classés relèvent de l'infrastructure (CDN, API, traceurs), si bien que 361 requêtes sur 500 ont échoué ; filtrez la liste avant de tirer des conclusions sur les éditeurs.
  • L'IAB Tech Lab publie un robot d'exploration ads.txt de référence, mais il n'a pas de fichier de licence et sa dernière mise à jour date de 2024.
Faisceau de câbles à fibre optique lumineux
Image: Optical fiber cable-10ASD,Asurnipal,CC BY-SA 4.0,via Wikimedia Commons.

Tranco est un classement gratuit, conçu pour la recherche, du million de meilleurs sites web. Associé à un court script, il permet de mesurer soi-même l’adoption d’ads.txt : choisir les N premiers domaines, récupérer chaque /ads.txt et compter les fichiers qui contiennent des lignes Google. Ce guide fournit une analyse Python testée, les résultats réels obtenus pour le top 500 et les pièges qui rendent des chiffres naïfs trompeurs.

Qu’est-ce que Tranco, et pourquoi les chercheurs l’utilisent-ils ?

Le site de Tranco le décrit comme « a research-oriented top sites ranking hardened against manipulation », c’est-à-dire un classement de sites conçu pour la recherche et durci contre la manipulation. Il a été créé par des chercheurs de la KU Leuven et d’autres universités, et la méthode a été publiée à NDSS 2019 (Le Pochat, Van Goethem, Tajalizadehkhoob, Korczyński et Joosen).

Points clés de la page de méthodologie :

  • Plusieurs fournisseurs combinés. La liste par défaut combine les classements du Chrome UX Report (CrUX), de Cloudflare Radar, de Farsight (liste par défaut uniquement), de Majestic et de Cisco Umbrella. Alexa et Quantcast ont été utilisés auparavant et sont abandonnés.
  • Moyenne sur 30 jours avec la règle de Dowdall (un score pondéré par le rang), ce qui rend la liste plus stable et plus difficile à truquer.
  • Un million de domaines par défaut, avec une option qui inclut les sous-domaines.
  • Un identifiant permanent par liste. La liste utilisée, générée le 18 novembre 2026, porte l’identifiant V38GN (page de la liste). Citez l’identifiant pour que chacun puisse reproduire votre travail.

Le site indique que les listes sont mises à jour chaque jour avant 0 h UTC, téléchargeables en CSV (top-1m.csv.zip et top-1m-incl-subdomains.csv.zip), disponibles dans Google BigQuery sous tranco.daily.daily, et accessibles depuis des paquets Python et Go.

Licences et conditions

Vérifiez ce point avant de publier ou de vendre quoi que ce soit fondé sur la liste. Le site de Tranco n’indique pas de licence pour la liste combinée elle-même, et le dépôt DistriNet/tranco-list n’a pas de fichier de licence. Le site énumère les licences de certaines sources, par exemple Majestic sous CC BY 3.0, CrUX sous CC BY-SA 4.0 et Cloudflare Radar sous CC BY-NC 4.0 (non commercial). Le paquet Python est sous licence MIT.

Étape 1 : obtenir une liste

Avec le paquet Python (pip install tranco), comme le montre son README :

from tranco import Tranco
t = Tranco(cache=True, cache_dir='.tranco')
latest = t.list()                  # latest daily list
print(latest.list_id)              # cite this ID
top = latest.top(1000)             # first 1,000 domains
print(latest.rank("wikipedia.org"))

Vous pouvez aussi demander une liste d’une date passée avec t.list(date='YYYY-MM-DD'), ou télécharger le CSV depuis le site : chaque ligne est de la forme rang,domaine.

Étape 2 : analyser les fichiers ads.txt

Voici le script qui a été exécuté. Il lit le CSV, récupère https://<domaine>/ads.txt avec 10 travailleurs en parallèle et un délai d’expiration de 10 secondes, puis classe la réponse :

"""adstxt_scan.py: python adstxt_scan.py top-1m.csv 500 results.json"""
import csv, sys, json, ssl, urllib.request, concurrent.futures

UA = "example.com ads.txt research (https://www.example.com/contact)"
csv_path, N, out = sys.argv[1], int(sys.argv[2]), sys.argv[3]
domains = [row[1] for row in csv.reader(open(csv_path))][:N]
ctx = ssl.create_default_context()

def fetch(d):
    try:
        req = urllib.request.Request(f"https://{d}/ads.txt", headers={"User-Agent": UA})
        with urllib.request.urlopen(req, timeout=10, context=ctx) as r:
            body = r.read(2_000_000).decode("utf-8", "replace")
            status = r.status
    except Exception as e:
        return {"domain": d, "ok": False, "err": type(e).__name__}
    lines = [l.split("#")[0].strip() for l in body.splitlines()]
    recs = [l for l in lines if l.count(",") >= 2]
    google = [l for l in recs if l.lower().startswith("google.com")]
    valid = status == 200 and "<html" not in body[:500].lower() and len(recs) > 0
    return {"domain": d, "ok": True, "status": status, "records": len(recs),
            "google_lines": len(google),
            "google_direct": sum("direct" in l.lower() for l in google), "valid": valid}

with concurrent.futures.ThreadPoolExecutor(10) as ex:
    res = list(ex.map(fetch, domains))
json.dump(res, open(out, "w"), indent=1)

v = [r for r in res if r.get("valid")]
print("domains", len(res), "valid", len(v),
      "with google.com", sum(r["google_lines"] > 0 for r in v),
      "with google.com DIRECT", sum(r["google_direct"] > 0 for r in v),
      "fetch errors", sum(not r["ok"] for r in res))

Remplacez le User-Agent par votre propre nom et une URL de contact. Un User-Agent descriptif permet aux propriétaires de sites de voir qui explore leurs fichiers et pourquoi.

Le critère « valide » est volontairement simple : HTTP 200, pas une page HTML, et au moins une ligne comportant trois champs ou plus séparés par des virgules. C’est un filtre du type « ressemble à un fichier ads.txt », pas un validateur de syntaxe. Pour des contrôles stricts, utilisez un validateur dédié, comme décrit dans validateurs ads.txt open source.

Résultats réels : top 500 de la liste V38GN

Le script a été exécuté le 18 novembre 2026 sur les 500 premiers domaines de la liste V38GN :

Résultat Domaines
ads.txt d’apparence valide 75
… dont au moins une ligne google.com 67
… dont une ligne google.com DIRECT 64
Réponse 200 mais pas un ads.txt valide (page HTML, fichier vide) 63
Autre statut HTTP (202) 1
Erreurs de récupération (erreurs HTTP 189, erreurs de connexion 168, expirations 4) 361

Le fichier valide médian comptait 120 enregistrements. Parmi les domaines dotés d’un fichier valide figuraient youtube.com, twitter.com, nytimes.com, cnn.com, bbc.com, theguardian.com, weather.com et wordpress.com.

Ces chiffres décrivent une seule analyse, un seul jour, depuis un seul réseau. Ils différeront lors de votre exécution.

Comment lire ces chiffres sans se tromper

Le dénominateur compte avant tout. « 75 sur 500 » ne signifie pas que 15 % des grands sites utilisent ads.txt. Le haut de tout classement de trafic est rempli de domaines que personne ne visite directement : CDN, hôtes d’API, points de terminaison publicitaires et d’analyse, serveurs de mise à jour. La plupart n’ont aucune page web sur le domaine nu, ce qui explique une bonne part des 361 échecs. Avant de calculer l’adoption, filtrez la liste pour ne garder que les domaines qui servent des pages, par exemple en vérifiant que la page d’accueil renvoie du HTML.

Un préfiltre rapide ne conserve que les domaines dont la page d’accueil renvoie du HTML :

def serves_html(d):
    try:
        req = urllib.request.Request(f"https://{d}/", headers={"User-Agent": UA})
        with urllib.request.urlopen(req, timeout=10, context=ctx) as r:
            return "text/html" in r.headers.get("Content-Type", "")
    except Exception:
        return False

Exécutez-le d’abord, puis calculez l’adoption sur les domaines pour lesquels il renvoie True, et indiquez les deux effectifs.

Une seule URL ne couvre pas toute la spécification. La spécification ads.txt décrit où les robots doivent chercher et comment traiter les redirections et les sous-domaines ; le script n’a essayé que https://<domaine>/ads.txt en suivant les redirections. Un domaine qui ne sert son fichier que sur www. ou uniquement en http peut être compté comme dépourvu de fichier. Voir la syntaxe d’ads.txt pour le format, et le texte de l’IAB Tech Lab cité dans spécifications de l’IAB Tech Lab pour les règles d’exploration.

Les blocages sont courants. Certains grands sites rejettent les scripts dont le User-Agent est inconnu ou limitent le débit des plages d’adresses IP de cloud. Consignez les types d’erreurs, comme le fait le script, plutôt que de traiter chaque échec comme « pas d’ads.txt ».

Des lignes Google ne prouvent pas qu’il s’agit d’AdSense. Une ligne google.com peut relever d’AdSense, d’Ad Manager ou d’autres produits Google, et une ligne peut être périmée. Utilisez-la comme signal d’adoption, pas comme liste d’éditeurs AdSense.

Le robot de référence de l’IAB Tech Lab

L’IAB Tech Lab publie adstxtcrawler, une implémentation de référence en Python qui lit une liste de domaines cibles, récupère leurs fichiers ads.txt et enregistre les enregistrements analysés dans SQLite (utilisation : adstxt_crawler.py -t <fichier de cibles> -d <base de données>). Il aide à voir comment les auteurs de la spécification concevaient l’exploration. Deux réserves : le dépôt n’a pas de fichier de licence, les droits de réutilisation sont donc incertains, et son dernier envoi date de juin 2024.

Aller plus loin

  • Comparer dans le temps. Conservez la sortie JSON et relancez chaque mois avec un nouvel identifiant de liste. Les tendances d’adoption sont plus parlantes qu’un instantané.
  • Passer à l’échelle avec les explorations publiques. Pour des millions de pages sans les explorer soi-même, HTTP Archive enregistre déjà la présence d’ads.txt par page ; voir étudier l’ad tech avec HTTP Archive.
  • Vérifier aussi sellers.json. Analysez les identifiants de vendeur de chaque fichier et recherchez-les dans le sellers.json du système publicitaire pour voir à quelle fréquence les lignes pointent vers des comptes réels et actifs.

Erreurs fréquentes

  • Publier un pourcentage sans l’identifiant de la liste et la date. Personne ne peut le vérifier.
  • Compter les échecs comme « pas d’ads.txt ». Séparez les erreurs des vrais 404.
  • Analyser trop fort. Des milliers de requêtes parallèles peuvent ressembler à une attaque. Gardez une faible concurrence.
  • Ignorer la question de la licence en utilisant la liste dans un produit commercial.
  • Prendre « d’apparence valide » pour valide. Utilisez un véritable analyseur pour toute affirmation sur la syntaxe.

Outils open source cités

Questions fréquentes

Pourquoi utiliser Tranco plutôt qu'une autre liste des meilleurs sites ?

Tranco a été conçu pour la recherche. Il fait la moyenne de plusieurs fournisseurs sur 30 jours, ce qui le rend plus difficile à manipuler et plus stable d'un jour à l'autre que n'importe quelle source isolée, et chaque liste reçoit un identifiant permanent pour que d'autres reproduisent vos résultats. Ses auteurs ont publié la méthode à NDSS 2019. Pour toute étude, citez l'identifiant de la liste utilisée.

Est-il légal et correct d'analyser les fichiers ads.txt d'autres sites ?

Les fichiers ads.txt sont publics par conception, afin que les acheteurs puissent les explorer. Restez tout de même courtois : un User-Agent descriptif avec une URL de contact, quelques requêtes parallèles au plus, un délai d'expiration et une seule requête par domaine. N'analysez pas le million de domaines depuis une connexion domestique, et respectez tout blocage ou limitation rencontré. Ceci n'est pas un avis juridique.

Pourquoi tant de requêtes ont-elles échoué lors de l'analyse ?

Le haut de la liste contient de nombreux domaines qui ne sont pas des sites que l'on lit : CDN, hôtes d'API, points de terminaison publicitaires et d'analyse, services très liés au DNS. Beaucoup n'ont aucun serveur web sur le domaine nu ou rejettent les clients inconnus. Le script n'a de plus essayé que https sur le domaine nu, sans le sous-domaine www ni le repli en http que décrit la spécification ads.txt.

Peut-on utiliser les données Tranco à titre commercial ?

Le site de Tranco n'indique pas de licence pour la liste combinée, et il mentionne les licences de certaines sources sous-jacentes, dont les données Cloudflare Radar sous CC BY-NC 4.0, qui exclut l'usage commercial. Si votre usage est commercial, contactez l'équipe Tranco et vérifiez les conditions de chaque source avant de vous appuyer sur les données.

Sources

  1. Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation · Tranco (DistriNet, KU Leuven)
  2. Tranco methodology · Tranco
  3. Tranco list V38GN · Tranco
  4. tranco-python-package README · DistriNet on GitHub
  5. adstxtcrawler · IAB Tech Lab on GitHub