BigSet muudab tavalise päringu elavaks veebitabeliks
TinyFish avaldas BigSeti - eksperimentaalse open-source tööriista, mis ehitab ja uuendab avatud veebist struktureeritud andmestikke tavalise kirjelduse põhjal. Kasutaja kirjutab näiteks lause “Y Combinatori ettevõtted, mis praegu palkavad insenere, koos rahastusvooru, asukoha ja vabade töökohtade arvuga”, ning süsteem pakub ise skeemi, otsib andmeid, kontrollib ridu allikate järgi, eemaldab duplikaadid ja annab tabeli vaatamiseks või CSV/XLSX ekspordiks.
See ei ole järjekordne otsimootor ega käsitsi selektoritega parseriehitaja. BigSet püüab sulgeda vahe “otsi mulle info” ja “anna mulle uuendatav tabel, mida saab töös kasutada” vahel. AI-agentide jaoks muutub see vahe kriitiliseks: mudel võib teksti põhjal arutleda, kuid ärilised ülesanded takerduvad sageli värsketesse hinnakirjadesse, tööpakkumistesse, tarnijatesse, konkurentidesse, uuringutesse, menüüdesse, inventari või kindlustustingimustesse.
Kuidas see töötab
Projekti README järgi loob BigSet kõigepealt andmestiku skeemi: veergude nimed, tüübid, primaarvõtmed ja eeldatavad otsingukohad. Seejärel avastab orkestreerija veebotsingu kaudu üksused ning alamagentid uurivad paralleelselt eraldi elemente, tõmbavad lehti, kontrollivad fakte ja kirjutavad ridu. Valmis tulemuse saab alla laadida ning uuenduse panna graafikule: 30 minutit, 6 tundi, 12 tundi, päev või nädal.
Tehniliselt on projekt ehitatud TinyFish API ümber lehtede otsimiseks ja laadimiseks, OpenRouteri ümber LLM-kutseteks ning kasutab Mastra workflows’i, Vercel AI SDK-d, Convexit, Fastifyd, Next.js-i ja Clerki. Praeguses versioonis on käivitamiseks vaja Dockerit, Make’i ja mitut API-võtit. Autorid hoiatavad otse: BigSet on eksperimentaalne, andmestiku genereerimine võtab umbes 2-5 minutit, skeemid pole alati ideaalsed, suletud saidid, sisselogimised ja paywall’id jäävad väljapoole ning andmestikke saab praegu vaadata ja eksportida, kuid mitte SQL-iga pärida.
Miks see on tähtis
BigSeti mõte ei ole, et see asendab kohe BI-tiimid või küpsed data pipelines’id. Vastupidi, piirangud on olulised: avalik veeb on mürane, andmed vananevad kiiresti, allikad lähevad omavahel vastuollu ja automaatne skeem võib kergesti eksida. Kuid projekt näitab hästi suunda, kuhu rakenduslikud agendid liiguvad: neile ei piisa küsimusele vastamisest, nad peavad koguma kontrollitavat töömälu maailma kohta.
Väikeettevõtte jaoks võib see olla viis koguda kiiresti müügivihjete, hindade või konkurentide nimekiri ilma eraldi scraping-projektita. Arendajatele on see näide agentse arhitektuuri kohta, kus otsing, eraldamine, deduplikatsioon, kontroll ja regulaarne refresh on ühes protsessis. AI-tööriistade turu jaoks on see veel üks märk, et väärtus liigub ilusast chat’ist süsteemideni, mis toodavad uuendatavaid artefakte: tabeleid, aruandeid, ülesannete järjekordi ja faktikogumeid.
Eraldi kõnekas on litsentsivalik: repositoorium on avaldatud AGPL-3.0 all. See pole suletud SaaS-vidin, vaid kood, mida saab uurida, lokaalselt käivitada ja oma pipeline’ide jaoks edasi arendada, kui tiim on valmis litsentsi tingimustega arvestama.
Siin on ka praktiline risk. Kui agent ehitab automaatselt veebist tabeli, muutub usaldus keskseks küsimuseks: kust tuli iga lahter, millal seda uuendati, mida süsteem pidas duplikaadiks ja miks rida tulemusse jõudis. BigSeti roadmap’is on juba per-cell source provenance, healer agents, incremental updates ja agent-native API. Kui sellised funktsioonid saavad normiks, muutub “agent leidis internetist” järk-järgult rangemaks vormiks: “agent kogus andmestiku, näitas allikaid ja hoiab seda värskena”.
