Как автоматически загружать редкие веб-документы в локальную базу знаний LLM без ручного скачивания?

Автор ищет способ автоматизировать сбор документации для локальных LLM, чтобы улучшить качество кода от AI-агентов. Проблема заключается в том, что редкие технологии часто имеют только веб-версии доков, которые сейчас приходится скачивать вручную. В обсуждении ищутся инструменты для эффективного парсинга таких страниц в базу знаний.