Fuentes de conocimiento y rastreo

Cuatro fuentes de conocimiento

Cada respuesta del asistente sale de una de estas cuatro fuentes, y todas las controlas tú:

• Páginas rastreadas — Páginas que obtenemos automáticamente de tu web. Ideal para páginas de producto, preguntas frecuentes o entradas del blog: todo lo que ya es público.
• Documentos subidos — Archivos PDF, Word (.docx), de texto (.txt) y Markdown (.md) que subes tú, de hasta 50 MB cada uno, y archivos CSV de preguntas y respuestas (la pregunta en la primera columna y la respuesta en la segunda; cada par se convierte en una respuesta propia). Ideal para listas de precios, condiciones, manuales internos: todo lo que no está en tu web pública. Sus páginas cuentan para el límite de páginas de tu plan, igual que las páginas de la web. Para actualizar un documento, pulsa Sustituir junto a él y sube la nueva versión: la versión anterior sigue respondiendo hasta que la nueva esté lista, y se mantiene si el archivo nuevo no se puede leer.
• Artículos que escribes tú — Artículos de conocimiento que redactas directamente en el panel. Sirven para cubrir lo que el rastreo no ha recogido o para respuestas que quieres formular de una manera concreta. En Conocimiento → Artículos, el panel muestra las preguntas de los últimos 30 días que tu asistente no supo responder o que los visitantes marcaron como no útiles, con un botón para escribir el artículo que responde a cada una.
• Productos de tu tienda — El catálogo de productos de tu tienda online, que se sincroniza automáticamente con precios, variantes y disponibilidad. Lo explicamos más abajo, en Productos de tu tienda online.

Un sitio web, varias fuentes

Un sitio web de Asktopus puede tomar contenido de más de un lugar. Tiene un dominio principal (el que indicas al crearlo) y puedes añadir más fuentes de rastreo: otras webs públicas, como un subdominio, otro dominio tuyo o un centro de ayuda público, y páginas concretas. Todas las fuentes alimentan la misma base de conocimiento: los visitantes reciben respuestas basadas en todo tu contenido, venga de la fuente que venga.

• Dominio principal — La URL con la que creaste el sitio web. No se puede quitar, y el widget siempre se puede insertar en ella.
• Dominio adicional — Cualquier web pública: un subdominio como blog.acme.com, otro dominio tuyo, un centro de ayuda en acme.zendesk.com o un sitio público de Notion o Confluence. Cada una se escanea por separado y tiene sus propios patrones de inclusión y exclusión. Asktopus lee las páginas que puede abrir cualquiera, así que no se puede añadir contenido que exija iniciar sesión. Las cabeceras que configuras en Ajustes → Protección contra bots solo se envían al dominio de tu sitio web y a sus subdominios, nunca a una fuente de otro dominio. El widget también se puede insertar en los subdominios de tu propio dominio que añadas.
• Página individual — Una URL concreta. Útil para una página que el escaneo no encontró, para una página recién publicada que no quieres esperar a que recoja el próximo rastreo completo o para una página muy importante que queda fuera de tus patrones habituales.

Todas las fuentes comparten el límite de páginas por sitio web de tu plan, junto con los documentos subidos y los productos sincronizados. Las 5.000 páginas de Pro se reparten como quieras entre el dominio principal, los demás dominios, las páginas individuales, los documentos y los productos.

Escaneo frente a rastreo

Cuando añades un sitio web, Asktopus hace primero un escaneo: lee tu sitemap y una muestra de páginas para proponerte qué patrones de URL incluir o excluir. El escaneo es rápido y no descarga todas las páginas. El rastreo es la descarga propiamente dicha: sigue los patrones que has aprobado y descarga el contenido de cada página. Puedes repetir los dos desde el panel siempre que cambies tu web.

Patrones de inclusión y exclusión

Tras el escaneo verás los patrones de URL agrupados por estructura, por ejemplo /productos/*, /blog/*, /admin/*. Marca los que quieras incluir en el rastreo y desmarca los que quieras omitir. Lo que se suele excluir: páginas de administración, resultados de búsqueda, archivos paginados y páginas de cuenta de cliente. El rastreo solo descarga las páginas que coinciden con un patrón incluido y con ninguno excluido.

Productos de tu tienda online

Si tu sitio web es una tienda online, Asktopus sincroniza su catálogo de productos con el conocimiento del asistente. Cada producto se convierte en su propia fuente de respuestas, con el nombre, la marca, el precio (y el precio anterior), las variantes y la disponibilidad, la referencia (SKU), las categorías, la descripción y un enlace a la página del producto. Los visitantes pueden preguntar “¿La tenéis en talla M?” o “¿Cuánto cuesta?” y obtener la respuesta actual con un enlace al producto.

• Se leen automáticamente — Asktopus busca una tienda cuando escanea tu sitio web, así que no tienes que configurar nada. Shopify, WooCommerce y Adobe Commerce (Magento) se leen a partir de lo que publican las propias plataformas. Wix, Squarespace, PrestaShop, BigCommerce, Ecwid, Shopware y la mayoría de los demás sistemas de tienda se leen a partir de los datos de producto que sus páginas de producto publican para los buscadores (schema.org).
• Feed de productos — Cualquier tienda que publique un feed de productos de Google Shopping puede pegar la dirección del feed. Muchos sistemas de tienda pueden generarlo: es el mismo feed que usan Google y Meta.
• Con qué frecuencia — Shopify, WooCommerce, Magento y los feeds de productos se sincronizan cada hora en Pro y Business, y una vez al día en el plan gratuito y en Starter. Las tiendas que se leen desde sus páginas de producto se sincronizan una vez al día en todos los planes. Con Sincronizar ahora actualizas los productos cuando quieras, en cualquier plan. Solo se actualizan los productos que han cambiado, y el asistente sigue respondiendo sobre tus productos mientras se sincronizan.
• Páginas — Cada producto cuenta como una página del límite de páginas por sitio web de tu plan: 50 en el plan gratuito, 500 en Starter, 5.000 en Pro y 25.000 en Business. A partir de entonces, las páginas de producto se omiten al actualizar el sitio web, así que nada cuenta dos veces. Si tu catálogo tiene más productos de los que caben en tus páginas, solo se sincronizan los que caben.

En la página Conocimiento, la pestaña Productos muestra la tienda que ha encontrado Asktopus, el estado de la sincronización y los productos sincronizados. Desde ahí activas la sincronización con un clic o pegas la dirección de un feed de productos.

robots.txt y bloqueos

Asktopus respeta robots.txt. Si tu robots.txt bloquea nuestro rastreador, el panel te lo indicará y te enlazará a la solución, que suele consistir en quitar una regla Disallow dirigida a todos los rastreadores. Mientras el rastreo esté bloqueado, puedes crear igualmente una base de conocimiento con documentos subidos y artículos escritos a mano; simplemente, el asistente no conocerá las páginas publicadas en tu web.

La protección contra bots de Cloudflare, Vercel y servicios similares también puede frenar al rastreador, porque le muestra una página de verificación en lugar de tu contenido. Deja pasar a Asktopus con una cabecera secreta

Qué pasa después de un rastreo

Una vez obtenido el contenido (del rastreo, de un documento subido o de un artículo), pasa por el mismo proceso de tres pasos:

• El texto se divide en fragmentos que se solapan, de unos 1.500 caracteres cada uno, con 200 caracteres de solapamiento para que el contexto no se corte entre un fragmento y el siguiente.
• Cada fragmento se convierte en un vector de embedding de 1.536 dimensiones con el modelo text-embedding-3-small de OpenAI.
• Los vectores se guardan en nuestro índice de búsqueda. Cuando un visitante hace una pregunta, convertimos su pregunta en un vector de la misma forma y recuperamos los fragmentos más próximos, que el modelo de lenguaje usa para redactar la respuesta.

Límites por plan

El límite de páginas de tu plan determina cuánto conocimiento puede tener un sitio web. Las páginas de la web, las de los documentos y los productos cuentan juntos: un PDF cuenta sus páginas; un archivo Word, de texto, Markdown o CSV, una página por cada 2.400 caracteres, y un producto sincronizado, una página. Si un documento no cabe en las páginas que te quedan, se rechaza con un aviso que indica cuántas quedan. El límite de fuentes de conocimiento determina cuántos documentos subidos y artículos escritos a mano puedes tener en total por sitio web.

Si tu web tiene más páginas de las que permite tu plan, usa patrones de exclusión para omitir las secciones de poco valor (resultados de búsqueda, archivos, páginas de cuenta). Así el rastreo se centra en las páginas que importan para las preguntas de los visitantes.

Mantener el asistente al día

En los planes Pro y Business, cada sitio actualiza su conocimiento automáticamente, cada semana en Pro y cada 3 días en Business: vuelve a leer tu sitemap, incorpora las páginas nuevas de las secciones que elegiste y sustituye el contenido anterior sin dejar huecos. Puedes desactivarlo para cada sitio en la página Conocimiento. En Starter, o justo después de publicar algo importante, pulsa Actualizar conocimiento. Para actualizar un documento, pulsa Sustituir junto a él y sube la nueva versión; la anterior sigue respondiendo hasta que la nueva esté lista. Si editas un artículo, se actualiza directamente. Los productos sincronizados siguen su propio calendario, que explicamos en Productos de tu tienda online.