For driftsansvarlige
Hvad er NervBot?
NervBot er vores crawler. Den henter forsiden på et domæne, når nogen har indtastet netop det domæne i vores gratis tjek — den opdager ikke sider selv, og den følger ikke links videre ind på sitet. Ser du NervBot i din log, er det fordi et menneske har bedt om en vurdering af den adresse. Herunder står præcis, hvad den henter, og hvordan du stopper den.
Kendetegn
Sådan ser den ud i loggen
NervBot identificerer sig altid. Den skjuler sig ikke bag en browsers user-agent, og den bruger ikke roterende IP-adresser for at undgå at blive genkendt. Kan du ikke se, hvem der henter din side, er det ikke os.
NervBot/1.0 (+https://usenerv.com/bot)
Den kører fra Cloudflares netværk, så afsender-IP’en varierer. Det er derfor, vi signerer forespørgslerne — se nederst på siden. Der er ingen JavaScript, ingen cookies, og den udfylder aldrig en formular.
Omfang
Hvad den henter
Et tjek er nogle få forespørgsler inden for et par sekunder, og så er det slut. Der er ingen løbende crawl, ingen planlagte genbesøg og ingen kø, der arbejder sig gennem dit site. Et resultat mellemlagres i op til et døgn, så to tjek af samme domæne samme dag rammer dig kun én gang.
/- Forsiden. Det er den eneste side, indholdet vurderes ud fra.
/robots.txt- For at se, om vi må hente noget, og om AI-agenter nævnes ved navn.
/sitemap.xml- Kun hvis robots.txt henviser til den.
/llms.txt- Kortet over sidens indhold, hvis der findes et.
/.well-known/…- En håndfuld faste adresser, der enten svarer eller ikke gør. Vi gemmer kun statuskoden.
I praksis er det omkring tyve forespørgsler, hvoraf de fleste er de faste adresser under /.well-known/, som på de fleste sites svarer 404 med det samme. Hver forespørgsel har en timeout på otte sekunder, og svarer du ikke inden da, opgiver vi den ene forespørgsel og prøver ikke igen. Der er ingen genforsøg, og en langsom server bliver ikke belastet hårdere end en hurtig.
Vi gemmer ikke dit indhold. Det, der bliver liggende, er domænet og resultatet af vurderingen — ikke siden selv. Det står iprivatlivspolitikken, og det er den samme tekst for alle.
Fravalg
Sådan blokerer du den
Læg de to linjer i din robots.txt. NervBot læser den før alt andet og respekterer den — også selv om det betyder, at tjekket ikke kan gennemføres for dit domæne.
User-agent: NervBot
Disallow: /Du behøver ikke skrive til os først, og vi beder dig ikke om en begrundelse. Blokerer du os, holder vi op. Det gælder også, hvis du blokerer alt med User-agent: * — så henter vi ingenting.
Vil du hellere have os fjernet permanent, uanset hvem der indtaster dit domæne, så skriv til [email protected] med domænet. Så lægger vi det på en spærreliste, og tjekket afviser det.
Verifikation
Sådan ved du, at det virkelig er os
En user-agent kan skrives af hvem som helst. Derfor underskriver NervBot hver eneste forespørgsel efter RFC 9421, den standard for signerede HTTP-forespørgsler, som Web Bot Auth bygger på. Forespørgslen bærer Signature,Signature-Input og Signature-Agent.
Den offentlige nøgle ligger her, og du kan kontrollere underskriften mod den uden at spørge os om lov:
/.well-known/http-message-signatures-directory
Er underskriften der ikke, eller passer den ikke til nøglen, så er det ikke NervBot. Så er det nogen, der har skrevet vores navn i deres user-agent, og du skal behandle det derefter.
Noget, der ikke ser rigtigt ud?
Har NervBot hentet mere end der står her, eller ramt dig oftere end beskrevet, så vil vi gerne vide det. Send os tidspunktet og et par linjer fra loggen, så finder vi ud af hvorfor.