Automaattinen työkalu tietojen keräämiseen verkkosivuilta. Opi HTML-parsintaa, datan käsittelyä ja API-rajapintoja — hyödyllinen taito monessa projektissa.
Kopioi tämä prompti Cursoriin tai muuhun AI-työkaluun aloittaaksesi projektin.
Luo web scraper Node.js:llä. Ominaisuudet: - Hae HTML Cheerio:lla - Parsii määritellyt elementit - Tallenna tulokset JSON-tiedostoon - Rate limiting (odota pyyntöjen välillä) - Virheiden käsittely ja retry-logiikka Esimerkki: Scrape Hacker News -etusivu - Kerää: otsikko, linkki, pisteet, kommenttien määrä - Tallenna data.json tiedostoon Käytä TypeScriptiä ja tee modulaarinen rakenne.
Tässä projektissa rakennetaan seuraavat ominaisuudet:
Luo yksinkertainen HTML-parseri.
Luo Node.js-scraper joka hakee verkkosivun ja parsii siitä tietoja Cheeriolla. Esimerkki: hae uutissivuston otsikot ja linkit.
Lisää tuki JavaScript-sivuille.
Lisää Puppeteer dynaamisen sisällön scrapingiin. Odota sivun latautumista, scrollaa ja kerää data. Esimerkki: scrape tuotteita verkkokaupasta.
Tallenna kerätty data tiedostoon.
Lisää funktiot datan tallentamiseen CSV- ja JSON-muotoihin. Luo myös Supabase-tallennus reaaliaikaiseen seurantaan.
Kun perusprojekti on valmis, voit laajentaa sitä näillä ideoilla:
Seuraa tuotteiden hintoja ja saa ilmoitus hinnan laskiessa. Yhdistä web scraping, tietokanta ja sähköposti-ilmoitukset yhdeksi käytännölliseksi kokonaisuudeksi.
Automaattinen sähköpostien lähetys ja hallinta personoiduilla viesteillä. Opi käyttämään email-API:ita, rakentamaan lähetysjonoja ja hallitsemaan sähköpostikampanjoita.
Automaattinen työkalu tiedostojen lajitteluun kansioihin. Opi CLI-kehitystä ja tiedostojärjestelmän käsittelyä rakentamalla työkalu jota käytät itse joka päivä.
Selaa kaikkia automaatio projekteja tai tutustu muihin kategorioihin.