Websitebronnen

Met websitebronnen train je je agent door pagina's van je website te crawlen. We extraheren automatisch tekstcontent en kunnen deze actueel houden met dagelijks automatisch opnieuw trainen.

Een websitebron toevoegen

1. Open Sources > Website in je agent
2. Kies Crawl links, Sitemap of Individual link
3. Voer de website-, sitemap- of pagina-URL in, zoals https://yoursite.com/faq voor een losse pagina
4. Gebruik filters voor opgenomen en uitgesloten paden bij crawlen of sitemapimport
5. Start de verwerking. Controleer geïndexeerde, overgeslagen en mislukte pagina’s

De crawler haalt tekstcontent uit de pagina en verwijdert navigatie, voetteksten en andere elementen zonder content.

Wat wordt gecrawld

• Hoofdcontent en koppen van de pagina
• Artikeltekst en alinea's
• Lijsten en gestructureerde content

Wat wordt uitgesloten:

• Navigatiemenu's en voetteksten
• Afbeeldingen en video's (alleen tekst)
• Pagina's achter een login

Meerdere pagina's toevoegen

Vind meerdere URL’s met een crawl of sitemap, of voeg losse pagina’s toe. Neem op:

• FAQ-/Help-pagina's
• Productdocumentatie
• Prijspagina
• Over ons/bedrijfsinformatie
• Belangrijke blogposts

Tip: Begin met 5-10 van je belangrijkste pagina's, test in de Playground en voeg er indien nodig meer toe.

Pagina's met JavaScript-rendering

Voor websites met JavaScript-gerenderde content (React, Vue, enz.) gebruiken we de Jina Reader API voor betere extractie:

• Rendert JavaScript voordat er wordt geëxtraheerd
• Levert schone markdown op
• Verwerkt dynamische content in moderne webapps

Jina Reader draait standaard als eerste; als er geen content kan worden geëxtraheerd, vallen we terug op een traditionele HTML-crawl.

Automatisch opnieuw trainen

Standard- en Pro-abonnementen bevatten automatisch dagelijks opnieuw trainen voor websitebronnen. Als dit is ingeschakeld:

1. Worden je websitebronnen elke 24 uur opnieuw gecrawld
2. Worden contentwijzigingen automatisch opgepikt
3. Controleer de verwerking en test antwoorden die door een wijziging worden geraakt

Automatisch opnieuw trainen inschakelen

1. Open de AI-instellingen van de agent
2. Zoek de trainingsinstellingen
3. Zet Dagelijks automatisch herscholen aan en sla op

De dagelijkse taak vernieuwt bestaande geïndexeerde website-URL’s. Voeg nieuwe pagina’s apart toe, controleer oude bronnen en vervang geüploade bestanden zelf. Test een dringende correctie na hertraining.

Handmatig opnieuw trainen

Voor directe updates of om specifieke pagina's opnieuw te trainen:

1. Ga naar Bronnen > Website
2. Zoek de bron die je wilt vernieuwen
3. Klik op de knop Opnieuw trainen
4. Wacht tot de verwerking is voltooid

Linklimieten

Problemen oplossen

"Pagina kon niet worden gecrawld"

• Controleer of de URL openbaar toegankelijk is
• Controleer of de pagina een login vereist
• Probeer een andere pagina van je site

"Geen content geëxtraheerd"

• De pagina bevat mogelijk veel JavaScript (Jina Reader verwerkt de meeste JS-pagina's)
• Controleer of content achter tabbladen of accordeons staat
• Zorg dat de pagina daadwerkelijk tekstcontent bevat

"Content lijkt verouderd"

• Schakel automatisch opnieuw trainen in voor automatische updates
• Train de bron handmatig opnieuw
• Controleer de tijdstempel bij "Laatst getraind"

Volgende stappen

• Test in de Playground om te controleren of de gecrawlde content werkt
• Voeg documentbronnen toe voor PDF-/Word-bestanden
• Maak Q&A-paren aan voor exacte antwoorden