ads.txt et sellers.json

Vérifier ads.txt par vos propres moyens : contrôles curl, crawler open source de l'IAB Tech Lab et audits par script

Mis à jour le Publié le Par la rédaction7 min5 sources

L'essentiel

  • Le statut affiché par AdSense dans la page Sites fait foi pour votre compte ; la vérification par vos soins indique si le fichier est accessible et correctement formé avant que Google ne l'explore à nouveau.
  • Une requête curl avec -sIL montre la chaîne de redirections, le code de statut final et le Content-Type, c'est-à-dire les conditions de diffusion décrites par l'aide d'exploration de Google et la spécification de l'IAB.
  • adstxtcrawler de l'IAB Tech Lab est un robot de référence open source sous licence BSD à 2 clauses, qui lit une liste de domaines et stocke les enregistrements ads.txt dans une base SQLite.
  • Le README d'adstxtcrawler le qualifie de prototype d'exemple adapté seulement à un usage de production très modeste ; son code importe des modules Python 2 et est antérieur aux variables OWNERDOMAIN et MANAGERDOMAIN.
  • Un court script Python 3 n'utilisant que la bibliothèque standard peut contrôler de nombreux domaines à la fois : réponse 200, Content-Type et présence de votre ligne AdSense.
Code source affiché dans un éditeur de texte
Image: Source code,Micke,CC BY-SA 3.0,via Wikimedia Commons.

Pour vérifier ads.txt par vous-même, contrôlez séparément la diffusion et le contenu. Pour la diffusion, récupérez le fichier avec curl -sIL en HTTP, en HTTPS, sur le domaine nu et sur www, et confirmez un statut final 200 avec text/plain. Pour le contenu, cherchez votre ligne exacte google.com, pub-..., DIRECT, f08c47fec0942fa0. Pour de nombreux domaines, utilisez un script ou le crawler open source de l’IAB Tech Lab, en gardant ses limites en tête.

Que doit réellement contrôler une vérification ?

Deux documents définissent ce qu’un consommateur d’ads.txt attend : Ensure your ads.txt files can be crawled de Google et la spécification ads.txt 1.1 de l’IAB Tech Lab. Combinés, ils donnent cette liste de contrôle :

Contrôle Exigence Source
Emplacement /ads.txt sur le domaine racine, ou redirection depuis celui-ci Aide d’exploration de Google, spécification IAB
Protocoles Google essaie HTTP et HTTPS Aide d’exploration de Google
Statut Réponse finale 200 ; un 404 signifie l’absence de fichier Aide d’exploration de Google, spécification IAB
Redirections 301, 302, 307 ; autant que nécessaire à l’intérieur du domaine racine, un seul saut vers l’extérieur Spécification IAB, FAQ de Google
Content-Type text/plain ; les autres types « should be treated as an error » (doivent être traités comme une erreur) Spécification IAB
robots.txt Ne doit pas bloquer le chemin ni le robot de Google Aide d’exploration de Google
Contenu Votre ligne avec votre identifiant pub- et DIRECT Guide ads.txt de Google

Aucun de ces contrôles ne remplace le statut qu’AdSense affiche sous « Sites ». La vérification par vos soins vous dit si un problème vient de votre côté avant d’attendre plusieurs jours une nouvelle exploration.

Comment contrôler un site avec curl ?

Exécutez les quatre variantes d’URL. -s supprime la progression, -I demande uniquement les en-têtes, -L suit les redirections :

curl -sIL http://example.com/ads.txt
curl -sIL https://example.com/ads.txt
curl -sIL http://www.example.com/ads.txt
curl -sIL https://www.example.com/ads.txt

Chaque sortie montre un bloc d’en-têtes par saut. Lisez dans l’ordre les lignes de statut HTTP/ et les en-têtes location:, et vérifiez que le dernier bloc affiche le statut 200 et content-type: text/plain. Un résumé plus court du résultat final :

curl -sL -o /dev/null -w '%{http_code} %{content_type} %{url_effective} %{num_redirects}\n' https://example.com/ads.txt

Vérifiez ensuite la présence de votre identifiant d’éditeur dans le contenu :

curl -sL https://example.com/ads.txt | grep -i 'pub-0000000000000000'

Certains serveurs répondent différemment à une requête HEAD (-I) et à une requête GET. Si le résultat de -I semble anormal alors que le site paraît fonctionner, recommencez avec la commande -w ci-dessus, qui utilise GET. L’interprétation de chaque type d’échec est traitée dans ads.txt « Not found » ou « Unauthorized ».

Qu’est-ce que le crawler adstxtcrawler de l’IAB Tech Lab ?

adstxtcrawler est le robot de référence open source de l’IAB Tech Lab, écrit en Python. Son README le décrit comme « an example crawler for ads.txt files » (un exemple de robot pour les fichiers ads.txt) qui « saves them to a SQLite DB table » (les enregistre dans une table de base SQLite), et indique que la licence est la licence BSD à 2 clauses.

Installation, telle que documentée dans le README :

sqlite3 adstxt.db < adstxt_crawler.sql
./adstxt_crawler.py -t target_domains.txt -d adstxt.db
echo "select * from adstxt;" | sqlite3 adstxt.db

Le fichier des cibles liste un domaine ou une URL par ligne. Les options sont -t (fichier des cibles), -d (base de données), -v (verbosité, répétable) et -p (taille du pool de threads, 4 par défaut). Les dépendances Python listées dans requirements.txt sont requests et pyopenssl.

La lecture de adstxt_crawler.py montre ce qu’il contrôle et ce qu’il ne contrôle pas :

Comportement Ce que fait le code
URL récupérée http://{host}/ads.txt uniquement ; les redirections sont suivies par la bibliothèque requests
En-têtes de requête User-Agent AdsTxtCrawler/1.0; +https://github.com/InteractiveAdvertisingBureau/adstxtcrawler, Accept: text/plain
Délai d’attente 5 secondes
Réponses acceptées Statut 200 uniquement
Détection du HTML Rejette le corps s’il contient n’importe où les chaînes html, body, div ou span, sans tenir compte de la casse
Content-Type Non contrôlé
Nettoyage Supprime une marque d’ordre des octets et tout caractère hors ASCII imprimable sauf les sauts de ligne, ce qui supprime aussi les tabulations
Délimiteurs Virgule ; # commence un commentaire (un test de tabulation existe dans le code, mais les tabulations sont déjà supprimées par le nettoyage)
Variables Suit subdomain= sur un niveau ; stocke contentproducerdomain et contentdistributordomain
Variables d’ads.txt 1.1 OWNERDOMAIN et MANAGERDOMAIN ne sont pas stockées
Sortie Table adstxt avec SITE_DOMAIN, EXCHANGE_DOMAIN, ADSYSTEM_DOMAIN, SELLER_ACCOUNT_ID, ACCOUNT_TYPE, TAG_ID, ENTRY_COMMENT, UPDATED

Quelles sont les limites du crawler ?

Le README est direct : « This is an example prototype crawler and would be suitable only for a very modest production usage. » (Il s’agit d’un robot prototype d’exemple, adapté seulement à un usage de production très modeste.) Points à connaître avant de vous y fier :

  • Code Python 2. Le README indique « Python 2 or better », mais le script importe urlparse, un module de Python 2. L’import pour Python 3 est laissé en commentaire sur la ligne précédente. D’autres parties, comme l’application d’une expression régulière de texte à des octets encodés, échouent aussi sous Python 3. Il faut s’attendre à le corriger ou à l’exécuter dans un environnement Python 2.
  • Maintenance. Le dépôt n’est pas archivé ; GitHub indique que son dernier push date du 6 juin 2024. La détection de licence de GitHub n’affiche aucune licence pour le dépôt, alors que le README mentionne la licence BSD à 2 clauses.
  • Filtre HTML strict. Comme le filtre parcourt tout le fichier passé en minuscules, un ads.txt valide dont un commentaire contient une URL se terminant par .html, ou un domaine contenant span, est rejeté. Google ne documente aucune règle de ce type ; c’est une limite de ce crawler.
  • Aucun contrôle du Content-Type, que la spécification de l’IAB demande aux consommateurs d’effectuer.

Il reste utile pour comprendre comment un robot analyse le format, et pour constituer rapidement une base de nombreux sites. Pour une recherche sur de nombreux domaines, voir l’étude d’ads.txt avec la liste Tranco.

L’IAB publie aussi ads.txt-parser, un projet Go sous licence Apache-2.0, décrit comme « a reference implementation of ads.txt parsing code (currently focused on app-ads.txt) » (une implémentation de référence du code d’analyse d’ads.txt, actuellement centrée sur app-ads.txt). C’est une bibliothèque d’analyse destinée aux développeurs, pas un vérificateur de site prêt à l’emploi.

Comment auditer plusieurs sites avec un script ?

Si vous gérez quelques sites, un court script Python 3 n’utilisant que la bibliothèque standard est plus simple que de corriger le crawler. Enregistrez-le sous audit_ads_txt.py :

import sys
import urllib.request

SCHEME = "https"
pub_id = sys.argv[1]
for domain in sys.argv[2:]:
    url = f"{SCHEME}://{domain}/ads.txt"
    req = urllib.request.Request(url, headers={"User-Agent": "ads-txt-audit"})
    try:
        with urllib.request.urlopen(req, timeout=10) as resp:
            ctype = resp.headers.get("Content-Type", "")
            final_url = resp.geturl()
            body = resp.read().decode("utf-8-sig", errors="replace")
    except Exception as err:
        print(f"{domain}\tERROR\t{err}")
        continue
    authorized = False
    for line in body.splitlines():
        record = line.split("#", 1)[0]
        fields = [f.strip() for f in record.split(",")]
        if (len(fields) >= 3 and fields[0].lower() == "google.com"
                and fields[1] == pub_id and fields[2].upper() == "DIRECT"):
            authorized = True
    print(f"{domain}\t{ctype}\t{final_url}\tauthorized={authorized}")

Exécutez-le avec votre identifiant d’éditeur et les domaines nus :

python3 audit_ads_txt.py pub-0000000000000000 example.com example.org

Chaque ligne de sortie donne le Content-Type, l’URL finale après redirections et si un enregistrement google.com, <votre identifiant>, DIRECT a été trouvé. Les erreurs HTTP comme 404 apparaissent sous forme de lignes ERROR. Remplacez SCHEME par "http" pour tester l’autre protocole.

Ce que le script ne fait pas : il n’applique pas la règle du saut unique pour les redirections hors du domaine racine, ne lit pas robots.txt et ne suit pas les déclarations subdomain=. Considérez-le comme un audit rapide et utilisez curl pour le détail.

Quels résultats appellent une action ?

Résultat Signification Étape suivante
text/plain, authorized=True Fichier correct pour AdSense Attendre la nouvelle exploration ou utiliser « Check for updates »
text/plain, authorized=False Ligne manquante ou mauvais identifiant Corriger le contenu ; voir la syntaxe d’ads.txt
text/html Page de CMS ou erreur 404 douce Servir un vrai fichier statique
ERROR HTTP Error 404 Aucun fichier sur ce protocole Ajouter le fichier ou rediriger vers lui
ERROR avec délai dépassé ou erreur SSL Problème de serveur, de DNS ou de certificat Corriger d’abord l’hébergement
URL finale sur un autre domaine Redirection hors du domaine racine Autorisée une fois ; vérifier qu’il n’y a pas de second saut externe

Pour les configurations avec sous-domaines, exécutez les contrôles sur la racine et sur chaque sous-domaine déclaré, comme le décrit ads.txt et les sous-domaines. Si vous utilisez les variables d’ads.txt 1.1, vérifiez-les à la main comme l’indique OWNERDOMAIN et MANAGERDOMAIN, car ni le crawler de l’IAB ni le script ci-dessus ne les lisent.

Outils open source cités

OutilLicence
adstxtcrawlerBSD-2-Clause
ads.txt-parserApache-2.0

Questions fréquentes

Si mes propres contrôles réussissent, AdSense affichera-t-il Authorized ?

Pas nécessairement tout de suite, et pas avec certitude. Vos contrôles confirment que le fichier est accessible et contient votre ligne. AdSense détermine le statut à partir de sa propre exploration, et Google indique que les mises à jour peuvent prendre quelques jours, voire un mois pour les sites qui génèrent peu de requêtes publicitaires. Utilisez « Check for updates » dans la page du site dans AdSense après avoir corrigé le fichier, puis patientez.

Le adstxtcrawler de l'IAB est-il encore utilisable aujourd'hui ?

Comme référence, oui ; comme outil de production, avec précaution. Le dépôt n'est pas archivé, mais son dernier push date de juin 2024, le README le qualifie de prototype d'exemple pour un usage de production très modeste, et le code importe urlparse, un module Python 2 : il ne s'exécute donc pas tel quel sous Python 3. Il ignore aussi les variables OWNERDOMAIN et MANAGERDOMAIN d'ads.txt 1.1.

Pourquoi un navigateur affiche-t-il mon fichier alors qu'un robot échoue ?

Les navigateurs masquent des détails qui comptent pour un robot. Ils suivent les redirections en silence, réutilisent des copies en cache, franchissent les défis anti-robots grâce aux cookies et affichent des pages servies avec des codes d'erreur. Un robot voit la réponse brute : un statut 404, une page HTML, un défi ou une redirection qui perd le chemin. Un test avec curl dans un terminal montre ces réponses brutes.

Dois-je utiliser un validateur ads.txt en ligne ?

C'est possible, mais vérifiez ce qu'il teste réellement et ne collez pas de données de compte dans des outils auxquels vous ne faites pas confiance. Beaucoup de vérificateurs en ligne se contentent de récupérer une URL et d'analyser les lignes. Les contrôles de ce guide couvrent aussi HTTP et HTTPS, le domaine nu et www, les codes de statut et le Content-Type, qui sont les problèmes de diffusion à l'origine de la plupart des statuts Not found.

Sources

  1. Ensure your ads.txt files can be crawled · Google AdSense Help
  2. Ads.txt guide · Google AdSense Help
  3. Ads.txt Version 1.1 · IAB Tech Lab
  4. adstxtcrawler · IAB Tech Lab (GitHub)
  5. ads.txt-parser · IAB Tech Lab (GitHub)