Нужен ли сайту llms.txt?

Не повредит, но и чуда не будет. Крупные нейросети пока официально не обещают его читать, поэтому сам файл трафика не приводит. Сначала проверьте то, что влияет точно: не закрыты ли боты поиска в robots.txt и на сервере и виден ли текст страницы без JavaScript. Файл — дешёвая заготовка на будущее, черновик собирается за минуту.

Какие боты закрывать, а какие нет?

Боты поиска — OAI-SearchBot и ChatGPT-User у ChatGPT, Claude-SearchBot и Claude-User у Claude, PerplexityBot, YandexAdditional у Алисы — лучше пускать: через них сайт попадает в ответы с поиском. Ботов обучения — GPTBot, ClaudeBot, Google-Extended — можно закрыть, если не хотите отдавать тексты в обучение моделей; на ответы с поиском это не влияет.

В robots.txt всё открыто, а проверка пишет, что сервер не пускает бота. Как так?

robots.txt — просьба к боту, а отказ ставит сам сервер: защита от DDoS, WAF, настройка хостинга или список «плохих ботов» в nginx. Бот приходит, а сервер отвечает ему 403 или страницей проверки. Владелец сайта об этом обычно не знает: браузеру сайт открывается как обычно.

Чем это отличается от GEO-оптимизации?

GEO-оптимизация сайта — работа над тем, чтобы нейросети находили и цитировали сайт: тексты с ответами на вопросы клиентов, упоминания на других площадках, разметка. Проверка здесь — первый шаг: может ли бот вообще прочитать сайт. Если не может, остальная работа не поможет.

Почему проверка с сервера в Москве?

Наш сервер стоит в Москве. Боты ChatGPT, Claude и Perplexity ходят из-за рубежа, поэтому блокировку по стране мы не увидим. Блокировку по имени бота, которую ставят хостинг и защита сайта, видно откуда угодно — её мы и проверяем.

Сколько раз можно проверять?

До 12 проверок в час с одного адреса. Один и тот же сайт проверяем не чаще раза в 10 минут — в это время показываем прошлый результат.

Проверка сайта для нейросетей и генератор llms.txt

Введите адрес — прочитаем robots.txt, откроем главную от имени ботов ChatGPT, Claude, Perplexity и Яндекса и посмотрим, что они получают. Покажем, кого сайт не пускает и почему, и соберём черновик llms.txt по карте сайта.

Сайт отвечает медленно? Проверка скорости загрузки сайта

Что проверяем

Боты в robots.txt

Закрыта ли главная для OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, YandexBot и YandexAdditional. Ботов обучения (GPTBot, ClaudeBot, Google-Extended) показываем отдельно: закрыть их — ваш выбор, а не ошибка.

Ответ сервера ботам

Открываем главную с именами GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и YandexBot и сравниваем с ответом браузеру: отказ 403, лимит 429, страница проверки на робота. Такие блокировки ставят хостинг и защита от DDoS, и в robots.txt их не видно.

Текст без JavaScript

Сколько слов в HTML, который отдаёт сервер. Боты нейросетей обычно не запускают скрипты: если текст подставляет JavaScript, для них страница пустая. Отдельно ловим предрендер, который получает только YandexBot.

Title, H1, описание, noindex

По ним нейросеть и поисковик понимают, о чём страница, и подписывают ссылку на неё. noindex на главной убирает её и из поиска, и из ответов с поиском.

Разметка schema.org

Какие типы JSON-LD и микроразметки есть на главной: Organization, LocalBusiness, Product, FAQPage. Разметка отдаёт факты — название, адрес, телефон, цены — без догадок.

llms.txt

Есть ли файл в корне сайта, текст ли это, а не HTML-страница, есть ли заголовок, описание и ссылки. Если файла нет — соберём черновик по sitemap.xml, меню и контактам главной.

Что такое llms.txt и как его сделать

llms.txt — текстовый файл в корне сайта (mysite.ru/llms.txt) в разметке Markdown. В нём коротко сказано, кто вы, и собраны ссылки на главные страницы: услуги, цены, контакты. Формат предложен на llmstxt.org в 2024 году.

Первая строка — название с решёткой, дальше одно-два предложения после «>», потом разделы «##» со ссылками в формате [название](адрес). Сделать его можно руками в блокноте или скопировать черновик из проверки выше, поправить описание и залить в корень сайта: на Тильде и в конструкторах — через загрузку файла или отдельную страницу, на Битриксе и WordPress — в папку сайта по FTP.

Честно о пользе: крупные нейросети пока не обещают читать llms.txt, и наличие файла само по себе трафика из ChatGPT или Алисы не приводит. Это дешёвая заготовка. Гораздо сильнее влияет то, что выше в проверке: пускает ли сайт ботов поиска и виден ли текст без JavaScript.

Пример llms.txt

# Клиника «Здоровье»

> Многопрофильная клиника в Туле: терапевт, кардиолог, УЗИ и анализы. Взрослые и дети, приём по записи с 8:00 до 20:00.

## Главное

- [Главная страница](https://example.ru/): о клинике и основных услугах
- [Цены](https://example.ru/ceny/): прайс на приёмы и анализы
- [Врачи](https://example.ru/vrachi/): специальности и стаж
- [Запись на приём](https://example.ru/zapis/)

## Другие страницы

- [Лицензии](https://example.ru/licenzii/)
- [Отзывы](https://example.ru/otzyvy/)

## Контакты

- Телефон: +7 (4872) 00-00-00
- Почта: info@example.ru

Как подготовить сайт к нейросетям

Откройте ботов поиска

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и YandexAdditional должны видеть сайт и в robots.txt, и на сервере. Если в защите сайта включено «блокировать ИИ-ботов», уберите оттуда хотя бы ботов поиска.

Отдавайте текст в HTML

Услуги, цены, телефон и адрес должны быть в исходном коде страницы (Ctrl+U), а не появляться после скриптов. Для сайта на React или Vue — серверный рендеринг или предрендер для всех ботов, а не только для Яндекса и Google.

Подпишите страницы

Свой title и H1 на каждой странице, description с тем, кто вы и где. Разметка Organization или LocalBusiness на главной, FAQPage у вопросов и ответов, Product на карточках товаров.

Отвечайте на вопросы клиентов на сайте

Нейросеть пересказывает то, что нашла. Если на сайте нет цен, сроков и условий, она возьмёт их с агрегатора или у конкурента. Страница «Цены» и раздел вопросов с конкретными ответами работают и для людей, и для ботов.

Бот прочитал сайт. Что увидит клиент, который пришёл из ответа?

Полный аудит проходит сайт как клиент: открывает страницы на компьютере и телефоне, жмёт кнопки, заполняет формы, читает тексты. В отчёте — что мешает дойти до заявки или покупки, со скриншотами и тем, что исправить. 990 ₽ за проверку, главную можно проверить бесплатно.

Проверить главную бесплатно

Бот прочитает сайт. А клиент дойдёт до заявки?

Бесплатная проверка главной открывает её в браузере на компьютере и телефоне: вёрстка, кнопки, формы, маска телефона, тексты, скорость и требования 152-ФЗ. Около 5 минут, без карты.

Вопросы

Нужен ли сайту llms.txt?: Не повредит, но и чуда не будет. Крупные нейросети пока официально не обещают его читать, поэтому сам файл трафика не приводит. Сначала проверьте то, что влияет точно: не закрыты ли боты поиска в robots.txt и на сервере и виден ли текст страницы без JavaScript. Файл — дешёвая заготовка на будущее, черновик собирается за минуту.
Какие боты закрывать, а какие нет?: Боты поиска — OAI-SearchBot и ChatGPT-User у ChatGPT, Claude-SearchBot и Claude-User у Claude, PerplexityBot, YandexAdditional у Алисы — лучше пускать: через них сайт попадает в ответы с поиском. Ботов обучения — GPTBot, ClaudeBot, Google-Extended — можно закрыть, если не хотите отдавать тексты в обучение моделей; на ответы с поиском это не влияет.
В robots.txt всё открыто, а проверка пишет, что сервер не пускает бота. Как так?: robots.txt — просьба к боту, а отказ ставит сам сервер: защита от DDoS, WAF, настройка хостинга или список «плохих ботов» в nginx. Бот приходит, а сервер отвечает ему 403 или страницей проверки. Владелец сайта об этом обычно не знает: браузеру сайт открывается как обычно.
Чем это отличается от GEO-оптимизации?: GEO-оптимизация сайта — работа над тем, чтобы нейросети находили и цитировали сайт: тексты с ответами на вопросы клиентов, упоминания на других площадках, разметка. Проверка здесь — первый шаг: может ли бот вообще прочитать сайт. Если не может, остальная работа не поможет.
Почему проверка с сервера в Москве?: Наш сервер стоит в Москве. Боты ChatGPT, Claude и Perplexity ходят из-за рубежа, поэтому блокировку по стране мы не увидим. Блокировку по имени бота, которую ставят хостинг и защита сайта, видно откуда угодно — её мы и проверяем.
Сколько раз можно проверять?: До 12 проверок в час с одного адреса. Один и тот же сайт проверяем не чаще раза в 10 минут — в это время показываем прошлый результат.