llms.txt: wat het is, wat het doet en hoe u het maakt

Wat llms.txt is

llms.txt is een voorstel voor een standaardbestand op de hoofdmap van een website, vergelijkbaar met robots.txt en sitemap.xml, maar dan bedoeld voor taalmodellen (large language models, vandaar de naam). Het bestand is geschreven in Markdown en bevat een korte beschrijving van de site en een lijst met de belangrijkste pagina's, elk met een regel uitleg. Het voorstel is in september 2024 gedaan door Jeremy Howard van Answer.AI en inmiddels door duizenden websites en documentatiesites overgenomen.

Het idee erachter is praktisch. Een AI-systeem dat uw website wil begrijpen, moet zich nu door menu's, cookiebanners en scripts heen werken om te ontdekken wat u doet. llms.txt geeft dat antwoord in één schoon bestand: dit is het bedrijf, dit doen ze, dit zijn de pagina's die ertoe doen. Een uitgebreidere variant, llms-full.txt, bevat de volledige tekst van de belangrijkste pagina's in één document.

Wat llms.txt wel en niet doet

Eerlijk is eerlijk: geen van de grote AI-partijen heeft officieel bevestigd dat hun crawlers llms.txt gebruiken bij het samenstellen van antwoorden. Het is een voorstel, geen verplichte standaard, en u wordt er niet automatisch door genoemd in ChatGPT. Waarom wij het dan toch op elke website zetten:

• Het kost een kwartier en kan geen kwaad: het bestand is voor mensen en machines leesbaar
• Steeds meer AI-gereedschap en agents lezen het wel, vooral bij het ophalen van een specifieke site
• Het dwingt u om uw eigen site in tien regels samen te vatten, en dat verbetert bijna altijd de structuur
• Het is een signaal dat uw website op AI is ingericht, en dat zien wij terug in hoe AI-agents uw site lezen

Wat llms.txt niet vervangt: de opname in de zoekindexen van Bing en Google, de toegang voor AI-crawlers en inhoud die vragen beantwoordt. Dat blijft het echte werk, zoals beschreven op AI-vindbaarheid verbeteren. llms.txt is de kers, niet de taart.

Hoe een goed llms.txt-bestand eruitziet

De opbouw is vast: een H1 met de naam, een korte samenvatting in een citaatblok, daarna secties met lijsten van pagina's in de vorm [titel](url): omschrijving. Houd het kort; een AI heeft meer aan twintig goed omschreven pagina's dan aan een dump van alle vierhonderd. Zet de commerciële pagina's bovenaan (wat u doet, wat het kost, hoe men u bereikt) en de kennispagina's daaronder. Werk het bij als uw site verandert.

Zo maakt u hem zelf

Het resultaat verschijnt hier.

Plaats het bestand als https://uwdomein.nl/llms.txt met contenttype text/plain en tekencodering UTF-8. Controleer daarna in de browser dat hij opent, en of uw beveiligingsplugin of CDN het bestand niet blokkeert voor AI-crawlers. Op onze eigen site staat hij op geomotor.nl/llms.txt.

Veelgemaakte fouten

De drie fouten die we het meest tegenkomen: het bestand staat in een submap in plaats van op de hoofdmap, het bevat alleen een naam zonder omschrijvingen per pagina, of het is eenmalig gemaakt en vervolgens nooit meer bijgewerkt terwijl de site wel veranderde. Een llms.txt dat naar pagina's verwijst die niet meer bestaan, doet meer kwaad dan goed.

Onderdeel van de volledige AI-laag

Bij Geomotor is llms.txt één van de controlepunten in de gratis GEO-scan en een vast onderdeel van de technische laag die we bouwen in het GEO-abonnement, samen met gestructureerde data, toegang voor alle AI-crawlers en opname in Bing. Het bestand zelf maken kan iedereen; het geheel eromheen is het werk.