Я три месяца строил пайплайн данных, который уже существует. Не будьте упрямым, как я.

Автор потратил лето на разработку кастомного веб-скрейпинга для своего AI-агента, включая прокси и парсинг, но столкнулся с проблемами поддержки. Он признаёт ошибку в изобретении велосипеда и ищет готовые инструменты для получения чистого JSON или Markdown из URL. Пост поднимает важную тему выбора инструментов для сбора данных под LLM и векторные базы.