Назад к дайджесту
Reddit

Сократил расход токенов на обработку изображений на ~95% по сравнению с прямым зрением GPT-4o, сохранив точность. Насколько это значимо?

Автор тестирует новый метод снижения стоимости LLM-инференса с изображениями, оценив его на бенчмарке MOMA Graph с 1315 вопросами. Результаты показывают примерно 95% снижение расхода токенов при сохранении точности на уровне прямого анализа изображений GPT-4o. Автор не раскрывает деталей реализации, так как метод находится в разработке, и спрашивает сообщество, насколько значим такой результат и какие дополнительные доказательства (другие датасеты, бейзлайны, замеры задержек и стоимости) нужны для подтверждения.

score 40r/MachineLearning