geo-bot-monitor
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| geo-bot-monitor [26/01/2026 21:02] – erwan | geo-bot-monitor [23/02/2026 12:08] (Version actuelle) – [GEO Bot Monitor] erwan | ||
|---|---|---|---|
| Ligne 1: | Ligne 1: | ||
| ====== GEO Bot Monitor ====== | ====== GEO Bot Monitor ====== | ||
| - | Plugin WordPress | + | > Plugin WordPress |
| * [[https:// | * [[https:// | ||
| - | * [[https:// | + | * [[https:// |
| + | |||
| + | * **Version** : 1.1.0 | ||
| + | * **Licence** : GPL2+ | ||
| + | * **Compatibilité** : WordPress 5.8+, PHP 7.4+ | ||
| ===== Description ===== | ===== Description ===== | ||
| - | GEO Bot Monitor | + | **GEO Bot Monitor** surveille, catégorise |
| + | |||
| + | ===== Fonctionnalités principales ===== | ||
| + | |||
| + | ==== Surveillance des bots ==== | ||
| + | |||
| + | * **Détection automatique** de 80+ robots | ||
| + | * **Catégorisation** | ||
| + | * **Tableau de bord** avec statistiques en temps réel | ||
| + | * **Graphiques d' | ||
| + | * **Historique** des visites par bot et par page | ||
| + | |||
| + | ==== Catégories de bots détectés ==== | ||
| + | |||
| + | ^ Catégorie ^ Exemples ^ | ||
| + | | **SEO** | Googlebot, Bingbot, Applebot, YandexBot, DuckDuckBot | | ||
| + | | **GEO / IA** | GPTBot, Claude-Web, PerplexityBot, | ||
| + | | **Outils SEO** | MozBot, AhrefsBot, SemrushBot, MJ12bot, Screaming Frog | | ||
| + | | **Réseaux sociaux** | Twitterbot, LinkedInBot, | ||
| + | | **Podcast** | Podchaser, Spotify, Apple-Podcasts, | ||
| + | | **Interne** | WordPress-Cron, | ||
| + | |||
| + | ==== Blocage des bots ==== | ||
| + | |||
| + | * **Interface de gestion** pour bloquer/ | ||
| + | * **Génération automatique** des règles de blocage : | ||
| + | * '' | ||
| + | * '' | ||
| + | * '' | ||
| + | * **Application directe** au fichier robots.txt du site | ||
| + | * **Détection** des bots déjà bloqués dans robots.txt existant | ||
| + | |||
| + | ==== Intégration GEO Authority Suite ==== | ||
| + | |||
| + | Si le plugin **GEO Authority Suite** est installé : | ||
| + | |||
| + | * Synchronisation automatique avec le fichier '' | ||
| + | * Ajout des directives de blocage IA dans la section dédiée | ||
| + | * Cohérence entre robots.txt et llms.txt | ||
| + | |||
| + | ==== Export des données ==== | ||
| + | |||
| + | * **CSV** : Export complet ou par période | ||
| + | * **PDF** : Rapport formaté | ||
| + | * **Markdown** : Format texte structuré | ||
| + | * **API REST** : Accès programmatique aux données | ||
| + | |||
| + | --- | ||
| + | |||
| + | ===== Installation ===== | ||
| + | |||
| + | - Téléchargez le plugin | ||
| + | - Uploadez dans ''/ | ||
| + | - Activez depuis **Extensions > Extensions installées** | ||
| + | - Accédez au menu **Bot Monitor** dans l' | ||
| + | |||
| + | --- | ||
| + | |||
| + | ===== Pages d' | ||
| + | |||
| + | ^ Page ^ Description ^ | ||
| + | | **Tableau de bord** | Vue d' | ||
| + | | **Liste des bots** | Historique détaillé par robot | | ||
| + | | **Blocage** | Gestion des autorisations et génération de règles | | ||
| + | | **Export** | Export des données (CSV, PDF, Markdown) | | ||
| + | | **Réglages** | Configuration du plugin | | ||
| + | |||
| + | --- | ||
| + | |||
| + | ===== Blocage des bots ===== | ||
| + | |||
| + | ==== Interface de blocage ==== | ||
| + | |||
| + | La page **Bot Monitor > Blocage** permet de : | ||
| + | |||
| + | * Voir la liste de tous les bots détectés | ||
| + | * Identifier leur statut actuel (Autorisé / Bloqué) | ||
| + | * Bloquer ou autoriser individuellement chaque bot | ||
| + | * Générer les codes de blocage | ||
| + | |||
| + | ==== Méthodes de blocage ==== | ||
| + | |||
| + | === robots.txt === | ||
| + | |||
| + | Le fichier '' | ||
| - | ===== Fonctionnalités ===== | + | < |
| + | # Règles de blocage générées par GEO Bot Monitor | ||
| + | # Date: 2026-02-23 10:00:00 | ||
| - | * **Détection automatique** de 50+ robots (Googlebot, Bingbot, GPTBot, Claude-Web, PerplexityBot...) | + | # Bloquer MJ12bot |
| - | * **Catégorisation** | + | User-agent: MJ12bot |
| - | * **Tableau de bord** avec statistiques en temps réel et graphiques | + | Disallow: / |
| - | * **Comparaison de périodes** pour mesurer l' | + | |
| - | * **Exports** : CSV (Excel), PDF, Markdown | + | |
| - | * **API REST** pour connexion avec applications externes | + | |
| - | * **Maintenance** : purge des données anciennes | + | |
| - | ==== Installation ==== | + | # Bloquer AhrefsBot |
| + | User-agent: AhrefsBot | ||
| + | Disallow: / | ||
| + | </ | ||
| - | 1. Télécharger le dossier `geo-bot-monitor` | + | **Avantages** : Simple, standard, respecté par les bots légitimes. |
| - | 2. Le copier dans `wp-content/ | + | **Limites** : Les bots malveillants peuvent ignorer ces directives. |
| - | 3. Activer le plugin dans l' | + | |
| - | 4. Accéder au menu **Bot Monitor** | + | |
| - | ==== Configuration ==== | + | === .htaccess (Apache) |
| - | ===== Configuration API ===== | + | Blocage au niveau serveur, plus strict. |
| - | Pour connecter une application externe (comme | + | <code apache> |
| + | # Règles de blocage générées par GEO Bot Monitor | ||
| + | < | ||
| + | RewriteEngine On | ||
| - | 1. Aller dans **Bot Monitor > API** | + | # Bloquer MJ12bot |
| - | 2. Cliquer sur **Générer une nouvelle clé** | + | RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC] |
| - | 3. Enregistrer | + | RewriteRule |
| - | 4. Utiliser cette clé dans votre application | + | </ |
| + | </ | ||
| - | ==== Utilisation ==== | + | **Avantages** : Blocage effectif, le bot reçoit une erreur 403. |
| + | **Limites** : Nécessite Apache avec mod_rewrite. | ||
| - | ===== Tableau de bord ===== | + | === llms.txt |
| - | Le tableau de bord affiche : | + | Format spécifique pour les crawlers IA (standard llmstxt.org). |
| - | * Nombre total de visites sur la période sélectionnée | + | < |
| - | * Répartition par catégorie de robots | + | # Bots IA bloqués |
| - | * Graphique d' | + | User-agent: GPTBot |
| - | * Top 20 des robots les plus actifs | + | User-agent: CCBot |
| - | * Top 10 des pages les plus visitées par les robots | + | |
| - | ===== Comparaison de périodes ===== | + | # Règles |
| + | Disallow: / | ||
| + | </ | ||
| - | Cette fonctionnalité permet de comparer deux périodes pour mesurer l' | + | ==== Détection automatique ==== |
| - | 1. Sélectionner la période 1 (référence) | + | Le plugin détecte les bots déjà bloqués dans votre '' |
| - | 2. Sélectionner la période 2 (à comparer) | + | |
| - | 3. Cliquer sur **Comparer** | + | |
| - | Le résultat affiche la variation en nombre absolu et en pourcentage, | + | * Lecture du fichier robots.txt actuel |
| + | * Analyse des directives User-agent / Disallow | ||
| + | * Affichage du statut " | ||
| - | ===== Exports ===== | + | --- |
| - | Trois formats d' | + | ===== Intégration GEO Authority Suite ===== |
| - | * **CSV** : Compatible Excel, séparateur point-virgule, | + | Si **GEO Authority Suite** est installé sur le même site : |
| - | * **PDF** : Rapport HTML stylisé avec résumé et tableaux | + | |
| - | * **Markdown** : Format texte pour documentation | + | |
| - | ===== Maintenance ===== | + | ==== Synchronisation llms.txt |
| - | La page de maintenance permet de : | + | Quand vous bloquez un bot IA via GEO Bot Monitor |
| - | * Voir la taille de la base de données | + | - Le plugin détecte GEO Authority Suite |
| - | * Sélectionner et supprimer des mois de données pour libérer de l'espace | + | - Propose d'ajouter le blocage dans le '' |
| + | - Les directives sont ajoutées dans la section " | ||
| - | ==== API REST ==== | + | ==== Exemple de sortie llms.txt |
| - | ===== Endpoints ===== | + | < |
| + | ## Crawlers IA bloques | ||
| - | {| class=" | + | Les crawlers IA suivants ne sont pas autorises a indexer ce site : |
| - | ! Endpoint !! Méthode !! Description | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |- | + | |
| - | | < | + | |
| - | |} | + | |
| - | ===== Authentification ===== | + | - **GPTBot** (User-Agent: |
| + | - **CCBot** (User-Agent: | ||
| - | ====== Option 1 : Header HTTP (recommandé) ====== | + | ### Directives de blocage |
| - | < | + | User-agent: GPTBot |
| - | X-GEO-Bot-API-Key: votre_cle_api | + | Disallow: |
| - | </pre> | + | |
| - | ====== Option 2 : Paramètre URL ====== | + | User-agent: CCBot |
| + | Disallow: / | ||
| - | <pre> | + | Ces directives sont egalement presentes dans le fichier robots.txt. |
| - | ? | + | Gere par : GEO Bot Monitor v1.1.0 |
| - | </pre> | + | </code> |
| - | ===== Exemples de requêtes ===== | + | --- |
| - | ====== Statistiques des 30 derniers jours ====== | + | ===== API REST ===== |
| - | < | + | ==== Endpoints disponibles ==== |
| - | curl -H " | + | |
| - | " | + | |
| - | </ | + | |
| - | ====== Statistiques personnalisées ====== | + | < |
| + | GET / | ||
| + | GET / | ||
| + | GET / | ||
| + | </ | ||
| - | < | + | ==== Exemple de réponse ==== |
| - | curl -H " | + | |
| - | " | + | |
| - | </ | + | |
| - | ====== Comparer deux périodes ====== | + | <code javascript> |
| + | { | ||
| + | " | ||
| + | " | ||
| + | " | ||
| + | " | ||
| + | " | ||
| + | " | ||
| + | }, | ||
| + | " | ||
| + | {" | ||
| + | {" | ||
| + | ] | ||
| + | } | ||
| + | </ | ||
| - | < | + | --- |
| - | curl -H "X-GEO-Bot-API-Key: | + | |
| - | " | + | |
| - | </ | + | |
| - | ===== Paramètres des endpoints | + | ===== Signatures de bots ===== |
| - | ====== /stats ====== | + | Le plugin inclut des signatures pour 80+ robots : |
| - | {| class=" | + | ==== Moteurs |
| - | ! Paramètre !! Type !! Défaut !! Description | + | |
| - | |- | + | |
| - | | start_date || string || -30 jours || Date de début | + | |
| - | |- | + | |
| - | | end_date || string || aujourd' | + | |
| - | |} | + | |
| - | ====== /visits ====== | + | * Googlebot, Googlebot-Image, |
| + | * Bingbot, BingPreview | ||
| + | * YandexBot, YandexImages | ||
| + | * Baiduspider | ||
| + | * DuckDuckBot | ||
| + | * Applebot | ||
| - | {| class=" | + | ==== Bots IA (GEO) ==== |
| - | ! Paramètre !! Type !! Défaut !! Description | + | |
| - | |- | + | |
| - | | start_date || string || -30 jours || Date de début | + | |
| - | |- | + | |
| - | | end_date || string || aujourd' | + | |
| - | |- | + | |
| - | | bot_name || string || (vide) || Filtrer par nom de robot | + | |
| - | |- | + | |
| - | | bot_category || string || (vide) || Filtrer par catégorie (seo, geo_ai, social, other) | + | |
| - | |- | + | |
| - | | page || integer || 1 || Numéro de page | + | |
| - | |- | + | |
| - | | per_page || integer || 100 || Résultats par page (max: 1000) | + | |
| - | |} | + | |
| - | ====== /compare ====== | + | * GPTBot, ChatGPT-User (OpenAI) |
| + | * Claude-Web, ClaudeBot (Anthropic) | ||
| + | * PerplexityBot | ||
| + | * Google-Extended | ||
| + | * CCBot (Common Crawl) | ||
| + | * Bytespider (ByteDance) | ||
| + | * Meta-ExternalAgent | ||
| + | * Amazonbot | ||
| - | {| class=" | + | ==== Outils SEO ==== |
| - | ! Paramètre !! Type !! Requis !! Description | + | |
| - | |- | + | |
| - | | period1_start || string || Oui || Début période 1 (YYYY-MM-DD) | + | |
| - | |- | + | |
| - | | period1_end || string || Oui || Fin période 1 (YYYY-MM-DD) | + | |
| - | |- | + | |
| - | | period2_start || string || Oui || Début période 2 (YYYY-MM-DD) | + | |
| - | |- | + | |
| - | | period2_end || string || Oui || Fin période 2 (YYYY-MM-DD) | + | |
| - | |} | + | |
| - | ==== Robots détectés ==== | + | * MozBot, rogerbot |
| + | * AhrefsBot | ||
| + | * SemrushBot | ||
| + | * MJ12bot (Majestic) | ||
| + | * DotBot | ||
| + | * Screaming Frog | ||
| + | * SEOkicks, Seobility, Sistrix | ||
| - | ===== SEO ===== | + | ==== Réseaux sociaux |
| - | * Googlebot, Googlebot-Image, | + | |
| - | * Googlebot-Mobile, | + | * LinkedInBot |
| - | * Bingbot, BingPreview | + | * facebot, |
| - | * YandexBot, YandexImages, | + | |
| - | * Baiduspider, | + | * Discordbot |
| - | * DuckDuckBot, | + | * TelegramBot |
| - | * Applebot | + | * Slackbot |
| - | * Sogou web spider | + | |
| - | * Exabot | + | |
| - | * facebot, | + | |
| - | * ia_archiver | + | |
| - | * MJ12bot | + | |
| - | * AhrefsBot | + | |
| - | * SemrushBot | + | |
| - | * DotBot | + | |
| - | * Screaming Frog | + | |
| - | * SEOkicks | + | |
| - | * Seobility | + | |
| - | * SISTRIX | + | |
| - | * rogerbot, Moz | + | |
| - | ===== GEO / IA ===== | + | ==== Podcast |
| - | * GPTBot (OpenAI) | + | |
| - | * ChatGPT-User | + | * Spotify |
| - | * Claude-Web, ClaudeBot (Anthropic) | + | * Apple-Podcasts (AppleCoreMedia, iTunes) |
| - | * anthropic-ai | + | * Google-Podcasts |
| - | * PerplexityBot | + | * Overcast |
| - | * Google-Extended | + | * Pocket Casts |
| - | * Cohere-ai | + | * Castro |
| - | * CCBot (Common Crawl) | + | * Deezer |
| - | * Bytespider (ByteDance/ | + | |
| - | * PetalBot | + | |
| - | * YouBot | + | |
| - | * Diffbot | + | |
| - | * OAI-SearchBot | + | |
| - | * Meta-ExternalAgent | + | |
| - | * Meta-ExternalFetcher | + | |
| - | * Amazonbot | + | |
| - | * ImagesiftBot | + | |
| - | * omgili, omgilibot | + | |
| - | * webzio | + | |
| - | ===== Réseaux sociaux ===== | + | ==== Internes |
| - | * Twitterbot | + | |
| - | * LinkedInBot | + | * GEO-Audit-Bot |
| - | * Pinterest, Pinterestbot | + | * Jetpack |
| - | * Slackbot | + | |
| - | * TelegramBot | + | |
| - | + | ||
| - | * Discordbot | + | |
| - | * Snapchat | + | |
| - | ===== Autres ===== | + | --- |
| - | * UptimeRobot | + | ===== Cas d' |
| - | * Pingdom | + | |
| - | * StatusCake | + | |
| - | * Netcraft | + | |
| - | * W3C_Validator | + | |
| - | * Validator.nu | + | |
| - | * GTmetrix | + | |
| - | * WebPageTest | + | |
| - | * Chrome-Lighthouse | + | |
| - | * archive.org_bot | + | |
| - | * Feedfetcher | + | |
| - | ==== Structure des fichiers | + | ==== Surveiller l' |
| - | < | + | Identifiez quels crawlers IA visitent votre site et à quelle fréquence. |
| - | geo-bot-monitor/ | + | |
| - | ├── geo-bot-monitor.php # Fichier principal | + | |
| - | ├── includes/ | + | |
| - | │ | + | |
| - | │ | + | |
| - | │ | + | |
| - | │ | + | |
| - | │ | + | |
| - | │ | + | |
| - | │ | + | |
| - | ├── assets/ | + | |
| - | │ | + | |
| - | │ | + | |
| - | └── readme.md | + | |
| - | </ | + | |
| - | ==== Base de données | + | ==== Bloquer les bots indésirables |
| - | ===== Table {prefix}_geo_bot_visits ===== | + | Bloquez les bots SEO tiers (Moz, Ahrefs, MJ12bot) qui consomment de la bande passante sans apporter de valeur directe. |
| - | {| class=" | + | ==== Optimiser pour le GEO ==== |
| - | ! Colonne !! Type !! Description | + | |
| - | |- | + | |
| - | | id || BIGINT || ID unique auto-incrémenté | + | |
| - | |- | + | |
| - | | visit_date || DATETIME || Date et heure de la visite | + | |
| - | |- | + | |
| - | | bot_name || VARCHAR(100) || Nom du robot détecté | + | |
| - | |- | + | |
| - | | bot_category || VARCHAR(20) || Catégorie (seo, geo_ai, social, other) | + | |
| - | |- | + | |
| - | | user_agent || TEXT || User-Agent complet | + | |
| - | |- | + | |
| - | | ip_address || VARCHAR(45) || Adresse IP du robot | + | |
| - | |- | + | |
| - | | url_visited || TEXT || URL visitée | + | |
| - | |- | + | |
| - | | http_status || SMALLINT || Code de statut HTTP | + | |
| - | |- | + | |
| - | | response_time || FLOAT || Temps de réponse en secondes | + | |
| - | |} | + | |
| - | ===== Index ===== | + | Vérifiez que les bots IA (GPTBot, Claude-Web) accèdent correctement à vos contenus optimisés. |
| - | * < | + | ==== Mesurer l' |
| - | * < | + | |
| - | * < | + | |
| - | * < | + | |
| - | ==== Désinstallation ==== | + | Comparez l' |
| - | La désinstallation du plugin supprime automatiquement : | + | --- |
| - | * La table < | + | ===== Changelog ===== |
| - | * L' | + | |
| - | * L' | + | |
| - | ==== Changelog | + | ==== Version 1.1.0 (Février 2026) ==== |
| - | ===== 1.0.1 ===== | + | * **Nouveau** : Système de blocage des bots |
| + | * **Nouveau** : Génération de règles robots.txt, .htaccess, llms.txt | ||
| + | * **Nouveau** : Application directe au robots.txt du site | ||
| + | * **Nouveau** : Détection des bots déjà bloqués | ||
| + | * **Nouveau** : Intégration avec GEO Authority Suite (llms.txt) | ||
| + | * **Nouveau** : Catégorie Podcast (Podchaser, Spotify, Apple Podcasts...) | ||
| + | * **Nouveau** : Signatures MozBot et MJ12bot améliorées | ||
| + | * **Amélioration** : Détection Unknown Bot (distinction WP-Cron, internes) | ||
| + | * **Amélioration** : Interface de blocage avec statut en temps réel | ||
| - | * Corrections de sécurité | + | ==== Version 1.0.0 (Janvier 2026) ==== |
| - | * Génération de clé API côté serveur | + | |
| - | * Ajout index composite pour performance | + | |
| - | * Nettoyage automatique à la désinstallation | + | |
| - | ===== 1.0.0 ===== | + | * Version initiale |
| + | * Détection et catégorisation des bots | ||
| + | * Tableau de bord et statistiques | ||
| + | * Export CSV, PDF, Markdown | ||
| + | * API REST | ||
| - | * Version initiale | + | --- |
| - | ==== Informations techniques | + | ===== Ressources ===== |
| - | * **Requires at least:** WordPress 6.0 | + | |
| - | * **Tested up to:** WordPress 6.7 | + | * [[https:// |
| - | * **Requires PHP:** 7.4 | + | * [[https://llmstxt.org/ |
| - | * **License: | + | |
| - | ==== Auteur ==== | + | --- |
| - | Erwan Tanguy | + | ===== Support ===== |
| - | [[Category:Plugins WordPress]] | + | **Auteur** |
| - | [[Category:SEO]] | + | **Site** : [[https:// |
| - | [[Category:GEO]] | + | **Wiki** |
| - | [[Category:Monitoring]] | + | |
geo-bot-monitor.1769457721.txt.gz · Dernière modification : de erwan
