Försvinner vi ur ChatGPT om vi blockerar GPTBot?

Nej, inte ur sökningen enligt OpenAI:s dokumentation om crawlers. GPTBot hämtar material till träning, medan OAI-SearchBot avgör om sajten kan visas i ChatGPT:s söksvar, och inställningarna är oberoende av varandra. Stänger ni däremot ute OAI-SearchBot visas sajten inte i söksvaren.

Påverkar Google-Extended synligheten i Google Sök?

Nej. Google skriver i sin dokumentation, uppdaterad 14 juli 2026, att Google-Extended inte påverkar om en sajt finns med i Google Sök och inte används för rankning. Den styr om innehållet får användas för att träna Gemini och när Gemini-apparna hämtar fakta ur Googles sökindex till sina svar. AI-översikterna och AI-läget styrs i stället av Googlebot och av kontrollen Generativ AI i Sök i Search Console.

Hur vet vi om Cloudflare blockerar AI-crawlers på vår sajt?

Titta i Cloudflares inställningar för AI-botar, inte bara i robots.txt. Cloudflare meddelade 1 juli 2025 att nya domäner får frågan om AI-crawlers ska släppas in, och sedan 15 september 2026 stoppar valen Block och Block on pages with ads även Googlebot och Bingbot. Den som vill stoppa träning men behålla sökningen ska välja Disallow AI Training.

Hur många svenska sajter blockerar AI-crawlers?

Zyte granskade 1 111 välbesökta svenska webbplatser i en rapport publicerad 22 juni 2026. Av dem hade 12,2 procent spärrar mot GPTBot och 4,2 procent mot OAI-SearchBot, den crawler som avgör om en sajt kan synas i ChatGPT:s sökning. Någon siffra för just svenska företagssajter har vi inte hittat.

Ska ni blockera AI-crawlers i robots.txt?

Stänger ni ute crawlers för sökning försvinner ni ur svaren. Crawlers för träning går att stänga ute utan att sökningen påverkas, men det är ett val med egna kostnader.

De flesta företag som vill bli nämnda av AI-tjänster bör inte blockera de crawlers som hämtar sidor till sökning och svar, eftersom sajten då försvinner ur svaren. Crawlers som bara samlar material för att träna AI-modeller går däremot att stänga ute utan att synligheten i sökningen påverkas, enligt OpenAI och Google. Det beslutet handlar om affärer och rättigheter, inte om teknik.

Vilka AI-crawlers finns det, och vad gör de?

En crawler, eller sökrobot, är ett program som hämtar webbsidor automatiskt. AI-bolagen har flera sorter, och de gör olika saker. Enligt Cloudflare 29 augusti 2025 gällde 80 procent av AI-crawlingen under det föregående året träning av modeller, 18 procent sökning och 2 procent hämtningar som en användare satt igång. Det ger tre sorters crawlers att ta ställning till:

Träning. GPTBot hämtar material som kan användas när OpenAI tränar sina modeller. Google-Extended är ingen egen crawler utan en markering i robots.txt som styr om det Google hämtar får användas för att träna Gemini och när Gemini-apparna hämtar fakta ur Googles sökindex till sina svar, enligt Googles lista över crawlers.
Sökning. OAI-SearchBot hämtar sidor till ChatGPT:s sökning, PerplexityBot till Perplexitys svar, Googlebot till Google Sök med AI-översikter och AI-läge, och Bingbot till Bing och Copilot.
Användarens hämtningar. ChatGPT-User och Perplexity-User öppnar en sida när någon ställer en fråga som kräver det.

Gränsen är inte lika skarp hos alla bolag. OpenAI har separata crawlers för träning och sökning, medan Google och Microsoft använder samma crawler för flera syften, enligt samma genomgång från Cloudflare. Den som stänger ute Googlebot eller Bingbot för att slippa AI stänger alltså också ute sig själv från vanlig sökning. Därför har Google och Microsoft andra reglage för AI, som beskrivs nedan.

Vad händer om ni blockerar crawlers för sökning?

Då försvinner ni ur svaren i den tjänsten. OpenAI skriver i sin dokumentation om crawlers att sajter som stänger ute OAI-SearchBot inte visas i ChatGPT:s söksvar, möjligen bara som en ren navigeringslänk, och rekommenderar att släppa in den. Perplexity ger samma råd om PerplexityBot. Båda anger att en ändring i robots.txt kan ta ungefär ett dygn att slå igenom.

Hos Google är det reglerna för Googlebot som styr även AI-översikterna och AI-läget, enligt Googles dokumentation om AI-funktioner, uppdaterad 10 december 2025. Den som vill stå utanför just AI-funktionerna kan sedan 31 augusti 2026 välja det i Search Console, under Generativ AI i Sök. Google skriver att valet inte påverkar rankningen i övriga Sök, men också att sajten då inte får någon trafik eller exponering från funktionerna.

Det är ingen liten publik att avstå från. Enligt Google 3 juni 2026 har AI-översikterna över 2,5 miljarder användare i månaden och AI-läget över en miljard. Google påpekar dessutom i hjälptexten att innehåll från andra webbplatser finns kvar i funktionerna och kan likna ert. Den som kliver ur lämnar alltså inte frågan obesvarad, utan lämnar den till någon annan.

Microsoft har ingen separat AI-crawler att stänga ute, utan styr AI-användningen med metataggar. Med NOARCHIVE tas en sida inte med i svaren i Bing Chat, och med NOCACHE visas bara adress, titel och utdrag, enligt Bing 22 september 2023. Sidan finns kvar i Bings vanliga sökresultat. Microsoft meddelade 15 november 2023 att Bing Chat blir Copilot, och sedan 10 februari 2026 visar Bing Webmaster Tools, i en förhandsversion, hur ofta en sajt citeras där.

Vad kostar det att blockera crawlers för träning?

Enligt dokumentationen kostar det ingen synlighet i ChatGPT:s sökning eller i Google Sök. OpenAI skriver att inställningarna för GPTBot och OAI-SearchBot är oberoende av varandra. Google skriver om Google-Extended, på en sida uppdaterad 14 juli 2026, att markeringen inte påverkar om en sajt finns med i Google Sök och inte heller används för rankning. Den styr däremot också om Gemini-apparna får använda era sidor när de hämtar fakta ur sökindexet, så där kan en blockering kosta synlighet.

Det ni ger upp är att era egna sidor inte används när kommande modeller tränas. Det en modell vet om ert företag utan att söka kommer då från andra webbplatser, som ni inte styr över. Vi har inte hittat någon studie som visar hur mycket det påverkar hur ofta ett företag nämns, åt något håll. Skillnaden mellan det modellen lärt sig och det den söker fram går vi igenom i Hur vet ChatGPT vad ert företag gör?

Publicisternas invändning är att AI-bolagen hämtar mycket och skickar tillbaka få besökare. Cloudflare räknade 29 augusti 2025 hur många sidor varje bolag hämtade per besökare det skickade vidare i juli 2025: OpenAI 1 091, Perplexity 195, Microsoft 41 och Google 5. Cloudflare påpekade 1 juli 2025 att trafik från appar inte alltid går att spåra, så kvoterna kan vara för höga. För en nyhetssajt som lever på annonser kan det ändå vara en dålig affär.

För ett företag som vill bli rekommenderat ser kalkylen annorlunda ut. Värdet ligger inte bara i klicket, utan i att namnet står i svaret som köparen läser. Den som säljer till andra företag har sällan annonsintäkter att skydda, och det mesta på sajten finns där för att bli läst. Det finns ändå legitima skäl att säga nej till träning, till exempel när innehållet i sig är det ni säljer.

Har ni redan blockerat AI-crawlers utan att veta om det?

Det är fullt möjligt, eftersom blockeringen inte alltid sitter i robots.txt. Cloudflare meddelade 1 juli 2025 att de som första infrastrukturbolag blockerar AI-crawlers som standard, och att varje ny domän får frågan när den läggs till. Den som klickade sig igenom den frågan kan ha valt bort AI-crawlers utan att marknadsavdelningen vet om det. Google råder också att kontrollera att crawling tillåts både i robots.txt och i ert CDN, tjänsten som levererar sajten till besökarna, och hos webbhotellet.

Inställningarna ändrades igen 15 september 2026. Sedan dess stoppar Cloudflares val Block och Block on pages with ads även Googlebot, Bingbot och Applebot, och påverkar därmed vanlig sökning. Tidigare spärrar mot träning flyttades till det nya valet Disallow AI Training, som stoppar träning men släpper in sökningen. Enligt samma inlägg blockerar mindre än 1 procent av Cloudflares sajter sökbotar, medan 17 procent har någon form av spärr mot träning.

Även svenska sajter spärrar sökbotar. Zyte, som säljer verktyg för datainsamling, granskade robots.txt på 1 111 välbesökta svenska webbplatser i en rapport publicerad 22 juni 2026. Av dem hade 12,2 procent spärrar mot GPTBot och 6,4 procent mot ChatGPT-User, medan 4,2 procent spärrade OAI-SearchBot. För dem är dörren till ChatGPT:s sökning helt eller delvis stängd, avsiktligt eller inte. Någon siffra för just svenska företagssajter har vi inte hittat.

Hur ser en rimlig robots.txt ut för ett företag som vill synas?

Utgå från vad varje crawler gör, inte från en färdig lista med namn som någon klistrat in från en mall eller ett forum. En lista som stänger ute allt som låter som AI tar lätt med sökbotarna också. För de flesta företag som vill bli nämnda ser det ut så här:

Släpp in OAI-SearchBot, PerplexityBot, Googlebot och Bingbot. De hämtar sidorna som svaren i ChatGPT:s sökning, Perplexity, Google och Bing bygger på.
Bestäm medvetet om GPTBot och Google-Extended. En blockering påverkar inte ChatGPT:s sökning eller Google Sök enligt OpenAI och Google, men era sidor används då inte vid träning, och med Google-Extended inte heller när Gemini-apparna hämtar fakta till sina svar.
Kontrollera bot-inställningarna i ert CDN och hos ert webbhotell, inte bara filen.
Skydda det som verkligen inte får läsas med inloggning, inte med robots.txt.

Den sista punkten är viktigare än den ser ut. Cloudflare skrev 1 juli 2025 att robots.txt bygger på heder och att inget tvingar botar att följa den. OpenAI skriver att reglerna kanske inte gäller för ChatGPT-User, eftersom en användare startat hämtningen, och Perplexity skriver att Perplexity-User i regel ignorerar filen. En robots.txt är alltså en begäran till dem som vill följa den, inte ett lås.

En fil som ofta nämns i samma andetag är llms.txt. Den styr inte vem som får hämta vad, och om den alls gör nytta går vi igenom i Behöver ert företag en llms.txt? Hur ni ser om AI-tjänsterna faktiskt skickar besökare beskriver vi i Hur ser man trafiken från ChatGPT och andra AI-tjänster i Google Analytics?

Be den som sköter webbplatsen om två saker i dag: er robots.txt och en skärmbild av bot-inställningarna i ert CDN. Ställ sedan en enda fråga: släpps OAI-SearchBot, PerplexityBot, Googlebot och Bingbot in? Är svaret nej, eller vet ingen, har ni hittat en möjlig orsak till att ni saknas i svaren som går att rätta samma dag. Det tar sedan tid innan det märks i svaren, och ingen kan lova hur mycket.

Att crawlers släpps in är bara första steget. Vinqels plattform för AI-synlighet följer sedan hur ofta ni faktiskt nämns i ChatGPT, Googles AI-översikter, Googles AI-läge, Perplexity och Copilot, vilka sajter svaren hämtar från och vad som behöver göras för att ni ska komma med. Plattformen är inte lanserad än, men ni kan ställa er i kön på vinqel.com.