Automaattinen työkalu tietojen keräämiseen verkkosivuilta.
Kopioi tämä prompti Cursoriin tai muuhun AI-työkaluun aloittaaksesi projektin.
Luo web scraper Node.js:llä. Ominaisuudet: - Hae HTML Cheerio:lla - Parsii määritellyt elementit - Tallenna tulokset JSON-tiedostoon - Rate limiting (odota pyyntöjen välillä) - Virheiden käsittely ja retry-logiikka Esimerkki: Scrape Hacker News -etusivu - Kerää: otsikko, linkki, pisteet, kommenttien määrä - Tallenna data.json tiedostoon Käytä TypeScriptiä ja tee modulaarinen rakenne.
Tässä projektissa rakennetaan seuraavat ominaisuudet:
Luo yksinkertainen HTML-parseri.
Luo Node.js-scraper joka hakee verkkosivun ja parsii siitä tietoja Cheeriolla. Esimerkki: hae uutissivuston otsikot ja linkit.
Lisää tuki JavaScript-sivuille.
Lisää Puppeteer dynaamisen sisällön scrapingiin. Odota sivun latautumista, scrollaa ja kerää data. Esimerkki: scrape tuotteita verkkokaupasta.
Tallenna kerätty data tiedostoon.
Lisää funktiot datan tallentamiseen CSV- ja JSON-muotoihin. Luo myös Supabase-tallennus reaaliaikaiseen seurantaan.
Kun perusprojekti on valmis, voit laajentaa sitä näillä ideoilla:
Selaa kaikkia automaatio projekteja tai tutustu muihin kategorioihin.