Что на самом деле ломается, когда AI-агенту нужно масштабное веб-скрейпинг: уроки трёх месяцев неудач

Автор делится опытом создания исследовательского агента, который сталкивается с блокировкой IP, каскадными ограничениями скорости и галлюцинациями при отсутствии данных. Основные проблемы решаются внедрением явной логики таймаутов, отказоустойчивости и использованием вращающихся резидентных прокси для обхода блокировок на инфраструктурном уровне.