BigSet превращает обычный запрос в живую таблицу из веба
TinyFish опубликовала BigSet — экспериментальный open-source инструмент, который строит и обновляет структурированные датасеты из открытого веба по обычному описанию. Пользователь пишет фразу вроде «компании Y Combinator, которые сейчас нанимают инженеров, с раундом финансирования, локацией и числом вакансий», а система сама предлагает схему, ищет данные, проверяет строки по источникам, убирает дубли и отдает таблицу для просмотра или экспорта в CSV/XLSX.
Это не очередной поисковик и не конструктор парсеров с ручными селекторами. BigSet пытается закрыть промежуток между «найди мне информацию» и «дай мне обновляемую таблицу, которую можно использовать в работе». Для AI-агентов этот промежуток становится критичным: модель может рассуждать по тексту, но бизнес-задачи часто упираются в свежие списки цен, вакансий, поставщиков, конкурентов, исследований, меню, инвентаря или условий страхования.
Как это устроено
По README проекта, BigSet сначала выводит схему датасета: названия колонок, типы, первичные ключи и предполагаемые места поиска. Затем оркестратор обнаруживает сущности через веб-поиск, а субагенты параллельно исследуют отдельные элементы, подтягивают страницы, проверяют факты и записывают строки. Готовый результат можно скачать, а обновление поставить на расписание: 30 минут, 6 часов, 12 часов, день или неделю.
Технически проект построен вокруг TinyFish API для поиска и загрузки страниц, OpenRouter для LLM-вызовов, Mastra workflows, Vercel AI SDK, Convex, Fastify, Next.js и Clerk. В текущей версии для запуска нужны Docker, Make и несколько API-ключей. Авторы прямо предупреждают: BigSet экспериментальный, генерация датасета занимает примерно 2-5 минут, схемы не всегда идеальны, закрытые сайты, логины и paywall остаются вне зоны действия, а сами датасеты пока можно просматривать и экспортировать, но не запрашивать через SQL.
Почему это важно
Смысл BigSet не в том, что он мгновенно заменит BI-команды или зрелые data pipelines. Наоборот, ограничения важны: публичный веб шумный, данные быстро устаревают, источники расходятся, а автоматическая схема легко ошибается. Но проект хорошо показывает направление, в котором движутся прикладные агенты: им мало уметь отвечать на вопрос, им нужно собирать проверяемую рабочую память о мире.
Для малого бизнеса это может быть способ быстро собрать список лидов, цен или конкурентов без отдельного скрейпинг-проекта. Для разработчиков — пример агентной архитектуры, где поиск, извлечение, дедупликация, проверка и регулярный refresh собраны в один процесс. Для рынка AI-инструментов — еще один признак, что ценность смещается от красивого чата к системам, которые производят обновляемые артефакты: таблицы, отчеты, очереди задач и наборы фактов.
Отдельно показателен выбор лицензии: репозиторий опубликован под AGPL-3.0. Это не закрытый SaaS-виджет, а код, который можно изучать, поднимать локально и дорабатывать под собственные пайплайны, если команда готова принять условия лицензии.
Здесь есть и практический риск. Когда агент автоматически строит таблицу из веба, вопрос доверия становится центральным: откуда взялась каждая ячейка, когда она обновлялась, что система сочла дублем и почему строка попала в результат. В roadmap BigSet уже есть per-cell source provenance, healer agents, incremental updates и agent-native API. Если такие функции станут нормой, «агент нашел в интернете» постепенно будет превращаться в более строгую форму: «агент собрал датасет, показал источники и держит его свежим».
