Vidensgrundlag og crawl

Fire vidensgrundlag

Hvert svar, assistenten giver, kommer fra én af fire kilder, du selv styrer:

• Crawlede sider — Sider vi automatisk henter fra dit website. Velegnet til produktsider, FAQ'er, blogindlæg — alt det, der allerede er offentligt.
• Uploadede dokumenter — PDF- og Word-filer (.docx), tekstfiler (.txt) og Markdown-filer (.md), du uploader, op til 50 MB pr. fil, og CSV-filer med spørgsmål og svar (spørgsmålet i første kolonne, svaret i anden; hvert par bliver sit eget svar). Velegnet til prislister, vilkår, interne håndbøger, alt det, der ikke ligger på det offentlige site. Deres sider tæller med i jeres plans sider, ligesom websitets. Vil du opdatere et dokument, vælger du Erstat ud for det og uploader den nye version: Den gamle version svarer videre, indtil den nye er klar, og bliver liggende, hvis den nye fil ikke kan læses.
• Artikler du skriver — Artikler du selv skriver direkte i dashboardet. Velegnet til at udfylde huller, crawlen missede, eller til svar du gerne vil formulere på en bestemt måde. Under Vidensbase → Artikler viser dashboardet spørgsmål fra de sidste 30 dage, som din assistent ikke kunne svare på, eller som besøgende markerede som ikke hjælpsomme, med en knap til at skrive artiklen, der besvarer hvert af dem.
• Produkter fra din webshop — Produktkataloget fra din webshop, som synkroniseres automatisk med priser, varianter og lagerstatus. Se Produkter fra din webshop nedenfor.

Ét site, flere kilder

Et Asktopus-site kan trække indhold fra mere end ét sted. Sitet har et primært domæne (sat da du oprettede det), og du kan tilføje flere crawl-kilder: andre offentlige websites, fx et underdomæne, et andet domæne, du ejer, eller et offentligt hjælpecenter, og enkeltsider. Alle kilder fodrer det samme vidensgrundlag — besøgende får svar fra hele dit indhold, uanset hvilken kilde det kom fra.

• Primært domæne — Den URL, du brugte til at oprette sitet. Kan ikke fjernes; widgeten kan altid embeddes her.
• Yderligere domæne — Et hvilket som helst offentligt website: et underdomæne som blog.acme.com, et andet domæne, du ejer, et hjælpecenter på acme.zendesk.com eller et offentligt Notion- eller Confluence-site. Hvert af dem scannes uafhængigt og har sine egne inkluder/ekskluder-mønstre. Asktopus læser de sider, alle kan åbne, så indhold bag et login kan ikke komme med. Headers, du sætter under Indstillinger → Bot-beskyttelse, sendes kun til dit sites eget domæne og dets underdomæner, aldrig til en kilde på et andet domæne. Widgeten kan også embeddes på underdomæner af dit eget domæne, som du tilføjer.
• Enkelt side — Én specifik URL — nyttig til en side, scannen missede, en netop publiceret side, du ikke vil vente på den næste fulde recrawl for, eller en vigtig side uden for dine normale mønstre.

Alle kilder deler jeres plans sider pr. site sammen med uploadede dokumenter og synkroniserede produkter. Pros 5.000 sider fordeles, som du vil, mellem primært domæne, andre domæner, enkeltsider, dokumenter og produkter.

Scan vs. crawl

Når du tilføjer et site, kører Asktopus først en scan: vi læser dit sitemap og et udsnit af siderne for at foreslå URL-mønstre at medtage eller fjerne. Scannen er hurtig og henter ikke hver side. Selve crawlen er den egentlige hentning — den følger de mønstre, du har godkendt, og downloader hver sides indhold. Begge kan køres igen fra dashboardet, når du har ændret dit site.

Medtag- og fjern-mønstre

Efter scannen ser du URL-mønstre grupperet efter struktur — fx /produkter/*, /blog/*, /admin/*. Sæt flueben ved dem, der skal med i crawlen, og fjern flueben ved dem, der skal springes over. Ofte fravalgte: admin-sider, søgeresultater, sideopdelte arkiver, kontosider. Crawlen henter kun sider, der matcher et inkluderet mønster og ikke matcher et ekskluderet.

Produkter fra din webshop

Er dit site en webshop, synkroniserer Asktopus produktkataloget ind i assistentens viden. Hvert produkt bliver sin egen kilde til svar med navn, mærke, pris (og førpris), varianter og lagerstatus, varenummer, kategorier, beskrivelse og et link til produktsiden. Besøgende kan spørge “Har I den i str. M?” eller “Hvad koster den?” og få det aktuelle svar med et link til produktet.

• Læses automatisk — Asktopus leder efter en webshop, når den scanner dit site, så der er intet at sætte op. Shopify, WooCommerce og Adobe Commerce (Magento) læses fra det, platformene selv udgiver. Wix, Squarespace, PrestaShop, BigCommerce, Ecwid, Shopware og de fleste andre shopsystemer læses fra de produktdata, deres produktsider udgiver til søgemaskiner (schema.org).
• Produktfeed — Enhver webshop, der udgiver et produktfeed til Google Shopping, kan indsætte feedets adresse i stedet. Mange shopsystemer kan lave et: Det er det samme feed, som Google og Meta bruger.
• Hvor ofte — Shopify, WooCommerce, Magento og produktfeeds synkroniseres hver time på Pro og Business og dagligt på gratisplanen og Starter. Webshops, der læses fra deres produktsider, synkroniseres dagligt på alle planer. Med Synkroniser nu opdaterer du produkterne når som helst, på alle planer. Kun ændrede produkter opdateres, og assistenten svarer videre om dine produkter, mens synkroniseringen kører.
• Sider — Hvert produkt tæller som én side af jeres plans sider pr. site: 50 på gratisplanen, 500 på Starter, 5.000 på Pro og 25.000 på Business. Produktsiderne springes derefter over, når websitet opdateres, så intet tælles to gange. Har kataloget flere produkter, end siderne giver plads til, synkroniseres kun dem, der er plads til.

På siden Vidensbase viser fanen Produkter den webshop, Asktopus har fundet, synkroniseringens status og de synkroniserede produkter. Her slår du synkroniseringen til med ét klik eller indsætter adressen på et produktfeed.

robots.txt og blokering

Asktopus respekterer robots.txt. Hvis din robots.txt blokerer vores crawler, fortæller dashboardet dig det og linker til en løsning — typisk at fjerne en Disallow-regel, der rammer alle crawlere. Mens crawlen er blokeret, kan du stadig bygge en videnbase fra uploadede dokumenter og selvskrevne artikler; assistenten kender bare ikke dine live-sider.

Bot-beskyttelse fra Cloudflare, Vercel og lignende tjenester kan også stoppe crawleren ved at vise den en verifikationsside i stedet for dit indhold. Luk Asktopus igennem med en hemmelig header

Hvad sker der efter en crawl

Når indhold er hentet (uanset om det er fra crawlen, en dokumentupload eller en artikel), kører det igennem den samme proces i tre trin:

• Teksten deles op i overlappende chunks — cirka 1.500 tegn hver, med 200 tegn overlap så kontekst ikke skæres midt over.
• Hver chunk konverteres til en 1.536-dimensionel embedding-vektor med OpenAI's text-embedding-3-small-model.
• Vektorerne gemmes i vores søgeindeks. Når en besøgende stiller et spørgsmål, embedder vi spørgsmålet på samme måde og henter de nærmeste chunks, som sprogmodellen bruger til at skrive svaret.

Grænser pr. abonnement

Jeres plans sider sætter grænsen for, hvor meget viden et site kan rumme. Websitets sider, dokumenternes sider og produkterne tæller sammen: en PDF med sit antal sider, en Word-, tekst-, Markdown- eller CSV-fil med én side pr. 2.400 tegn og et synkroniseret produkt med én side. Et dokument, der ikke kan være i de resterende sider, bliver afvist med besked om, hvor mange der er tilbage. Grænsen for videnskilder styrer, hvor mange uploadede dokumenter og selvskrevne artikler du kan have pr. site tilsammen.

Har dit site flere sider, end dit abonnement tillader, så brug fjern-mønstre til at springe lavværdi-sektioner over (søgeresultater, arkiver, kontosider), så crawlen fokuserer på de sider, der betyder noget for besøgendes spørgsmål.

Hold assistenten opdateret

På Pro og Business opdaterer hvert site sin viden automatisk, hver uge på Pro og hver 3. dag på Business: Det læser dit sitemap igen, tager nye sider med i de dele af sitet, du har valgt, og skifter det gamle indhold ud uden huller. Du kan slå det fra for det enkelte site under Vidensbase. På Starter, eller lige når du har udgivet noget vigtigt, trykker du Opdater viden. Et dokument opdaterer du med Erstat ud for det: Upload den nye version, så svarer den gamle videre, indtil den nye er klar. Redigerer du en artikel, opdateres den på plads. Synkroniserede produkter følger deres egen tidsplan, som er beskrevet under Produkter fra din webshop.