Sources de site web

Les sources de site web vous permettent d’entraîner votre agent en explorant les pages de votre site. Nous extrayons automatiquement le contenu textuel et pouvons le maintenir à jour grâce au réentraînement automatique quotidien.

Ajouter une source de site web

1. Ouvrez Sources > Website dans votre agent
2. Choisissez Crawl links, Sitemap ou Individual link
3. Entrez l’URL du site, du sitemap ou de la page, par exemple https://yoursite.com/faq pour une page seule
4. Utilisez les filtres de chemins inclus et exclus pour le crawl ou le sitemap
5. Lancez le traitement. Examinez les pages indexées, ignorées et en échec

L’outil d’exploration extrait le contenu textuel de la page, en supprimant la navigation, les pieds de page et les autres éléments qui ne sont pas du contenu.

Ce qui est exploré

• Contenu principal de la page et titres
• Texte des articles et paragraphes
• Listes et contenu structuré

Ce qui est exclu :

• Menus de navigation et pieds de page
• Images et vidéos (texte uniquement)
• Pages protégées par connexion

Ajouter plusieurs pages

Découvrez plusieurs URL avec un crawl ou un sitemap, ou ajoutez des pages individuelles. Incluez :

• Vos pages FAQ/Aide
• Votre documentation produit
• Votre page de tarifs
• Vos informations À propos/Entreprise
• Vos articles de blog clés

Astuce : commencez avec 5 à 10 de vos pages les plus importantes, testez-les dans le Playground, puis ajoutez-en d’autres selon les besoins.

Pages générées en JavaScript

Pour les sites web dont le contenu est généré en JavaScript (React, Vue, etc.), nous utilisons l’API Jina Reader pour une meilleure extraction :

• Génère le JavaScript avant l’extraction
• Renvoie du markdown propre
• Gère le contenu dynamique des applications web modernes

Jina Reader s’exécute en premier par défaut ; nous revenons à une exploration HTML traditionnelle s’il ne parvient pas à extraire le contenu.

Réentraînement automatique

Les forfaits Standard et Pro incluent le réentraînement automatique quotidien pour les sources de site web. Lorsqu’il est activé :

1. Vos sources web sont ré-explorées toutes les 24 heures
2. Les changements de contenu sont détectés automatiquement
3. Vérifiez le traitement et testez les réponses concernées par une modification

Activer le réentraînement automatique

1. Ouvrez les réglages AI de l’agent
2. Trouvez les réglages d’entraînement
3. Activez Réentraînement automatique quotidien et enregistrez

La tâche quotidienne actualise les URL web déjà indexées. Ajoutez les nouvelles pages séparément, examinez les sources obsolètes et remplacez les fichiers importés. Testez une correction urgente après réentraînement.

Réentraînement manuel

Pour des mises à jour immédiates ou pour réentraîner des pages spécifiques :

1. Accédez à Sources > Site web
2. Repérez la source que vous souhaitez actualiser
3. Cliquez sur le bouton Réentraîner
4. Attendez la fin du traitement

Limites de liens

Dépannage

« La page n’a pas pu être explorée »

• Vérifiez que l’URL est accessible publiquement
• Vérifiez si la page nécessite une connexion
• Essayez une autre page de votre site

« Aucun contenu extrait »

• La page utilise peut-être beaucoup de JavaScript (Jina Reader gère la plupart des pages JS)
• Vérifiez si le contenu se trouve derrière des onglets ou des accordéons
• Assurez-vous que la page contient réellement du texte

« Le contenu semble obsolète »

• Activez le réentraînement automatique pour des mises à jour automatiques
• Réentraînez la source manuellement
• Vérifiez l’horodatage « Dernier entraînement »

Étapes suivantes

• Testez dans le Playground pour vérifier que le contenu exploré fonctionne
• Ajoutez des sources de documents pour les fichiers PDF/Word
• Créez des paires Q&R pour des réponses exactes