Организация доступа локального агента к веб-страницам без платных API: SearXNG + Scrapling

Автор описывает архитектуру локального AI-агента с веб-доступом, использующего только open-source инструменты вместо платных API вроде Tavily или Firecrawl. Решение базируется на SearXNG для поиска и связке Scrapling с Trafilatura для извлечения контента, включая защиту от ботов и SSRF.