Kinyerés
- Nyilvános weboldalak, az azok feltételeit tiszteletben tartva és terhelés nélkül
- PDF-ek, számlák és beszkennelt dokumentumok OCR-rel
- Excel, CSV és más szoftverek exportjai
- Hivatalos API-k és nyílt adatportálok, ahol léteznek
Nexura Digital szolgáltatás
Adatkinyerés és tisztítás, hogy megbízható információval dolgozhasson
Adatokat gyűjtünk nyilvános weboldalakról, dokumentumokból és táblázatokból, megtisztítjuk őket, és stabil formátumban, megismételhető folyamattal adjuk át.
Adatokat nyerünk ki nyilvános weboldalakról, PDF-ekből, Excel-fájlokból és más forrásokból, egységesítjük őket, eltávolítjuk a duplikációkat, és használatra készen adjuk át a CRM-jéhez, az áruházához vagy az elemzéshez. Olyan vállalkozásoknak készült, amelyeknek rendezetlen listáik, katalógusaik vagy nyilvántartásaik vannak, és jogszerűen, dokumentáltan szeretnék elvégeztetni a munkát. Egy konkrét adatkészleten induló 7 napos próbával kezdhet.
Mit csinálunk az adataival?
Tisztítás és normalizálás
- Dátumok, telefonszámok és országok szabványos formátumban, például ISO 8601 vagy E.164 szerint
- Duplikációk felismerése akkor is, ha eltérően vannak írva
- Felosztott mezők és egységesített mértékegységek
- A kétséges rekordokat megjelöljük és átnézésre megtartjuk, nem töröljük
Betöltés és ismétlés
Táblázatban, CSV-fájlban vagy közvetlenül az adatbázisába vagy CRM-jébe szállítjuk. Ha a forrás folyamatosan frissül, egy n8n-munkafolyamatot vagy ütemezett szkriptet hagyunk ott.
Jogszerűen és rendezetten: a korlátok, amelyeket betartunk
Ez technikai segítségnyújtás, nem jogi tanács: ha egy projekt jogi kérdéseket vet fel, az ügyvédjének kell azt megvizsgálnia, mielőtt elkezdenénk.
Használati feltételek és robots.txt
Minden oldal használati feltételeit és robots.txt-jét elolvassuk; ez az RFC 9309 szabvány szerinti fájl, amellyel egy oldal jelzi, mit nem szeretne feltérképeztetni. Nem kerüljük meg a bejelentkezéseket, fizetősfalakat vagy CAPTCHA-kat, és korlátozzuk a kérések számát.
Személyes adatok és GDPR
A nyilvános nem azt jelenti, hogy bármilyen célra felhasználható: a GDPR a közzétett személyes adatokat is védi. Csak a szükséges mezőket gyűjtjük, és soha nem készítünk listát nem kért kereskedelmi üzenetek küldéséhez.
Hogyan zajlik a munka?
Öt lépés
- Meghatározzuk, mire használja az adatokat, és mely mezőkre van szüksége
- Átnézzük a forrásokat, a feltételeket, és ha van személyes adat, azt, hogyan illeszkedik a GDPR-hez
- Kinyerést próbálunk egy mintán, és mérjük a minőségét
- Megállapodunk Önnel a tisztítási és duplikáció-kezelési szabályokban
- Feldolgozzuk a teljes adatkészletet, és minőségi jelentéssel együtt szállítjuk
Mely projektek illenek, és melyek nem?
Jó illeszkedés
PDF-formátumú beszállítói katalógusok, amelyeket be kell tölteni az áruházába, duplikációkkal teli ügyféladatbázisok CRM-migráció előtt, nyilvános árak egy piacon, amelyet követni szeretne, vagy nyílt adatok egy tanulmányhoz.
Nem illik
Hidegkampányokhoz e-mail-címek vagy telefonszámok gyűjtése, védett tartalom átmásolása újraközzétételhez, vagy olyan oldalakról való adatkinyerés, amelyek kifejezetten tiltják azt. Jogi véleményre sincs szükség tőlünk: az ügyvéd feladata.
Mit tartalmaz minden szállítás?
Adatok és dokumentáció
- Tiszta adatkészlet a megállapodott formátumban
- Adatszótár minden mezővel, azok eredetével és formátumával
- Minőségi jelentés: feldolgozott rekordok, egyesített duplikációk és kétséges esetek
- Dokumentált szkript vagy n8n-munkafolyamat a folyamat megismétléséhez
- Napló a forrásokról és minden kinyerés dátumáról
Ha a folyamat ismétlődik
A munkafolyamat az Ön által fizetett szerveren fut, az n8n Cloudon vagy a saját VPS-én, a költsége benne van az árajánlatban, és az Ön nevén marad.
7 napos próba valós adatkészlettel
A mintától az eredményig
Reális választás az ügyféladatbázisának vagy egy katalógusának tisztítása és duplikáció-mentesítése, vagy egy konkrét nyilvános forrásból történő kinyerés automatizálása. Mintából indulunk, megállapodunk a szabályokban, és a minőségi jelentéssel együtt szállítjuk az eredményt. Mielőtt egyetlen rekordot is megérintenénk, írásban megállapodunk a terjedelemről, a határidőkről és a feltételekről.
GYIK
Gyakori kérdések
Jogszerű adatot kinyerni egy nyilvános weboldalról?
Attól függ, milyen adatról, melyik oldalról és mire. A weboldal használati feltételei, a tartalmán fennálló jogok, és ha személyes adat is érintett, a GDPR is szerepet játszik. Óvatos technikai szempontokat alkalmazunk, és jelezzük az általunk látott kockázatokat, de jogi tanácsot nem adunk: kétséges esetben az ügyvédjével döntsön.
Mi történik, ha a weboldal designja változik?
A weboldalakról történő kinyerés megszakad, ha az oldal szerkezete változik. Ezért ahol léteznek, a hivatalos API-kat vagy letöltéseket részesítjük előnyben, ellenőrzéseket építünk be, amelyek riasztanak, ha az adat üresen vagy furcsa formátumban érkezik, és dokumentáljuk, hogyan kell a folyamatot módosítani. Ha igényli, a karbantartást külön állapodjuk meg.
Ki tudják nyerni az adatokat beszkennelt PDF-ekből?
Igen, OCR-rel, összetett dokumentumoknál pedig MI-modellekkel kombinálva, amelyek olyan konkrét mezőket emelnek ki, mint az összegek, dátumok vagy hivatkozási számok. A minőség a szkennelésen múlik, ezért mintán érvényesítünk, a kis megbízhatóságú mezőket megjelöljük, és ahol vannak, az összegeket is ellenőrizzük.
Hogyan szűrik a duplikációkat?
Pontos szabályokat kombinálunk, például azonos adószám vagy e-mail-cím alapján, és közelítő egyezéssel nevekre és címekre, amely figyelembe veszi a rövidítéseket, az ékezeteket és az elírásokat. A világos eseteket automatikusan összevonjuk, a kétségeseket pedig egy listába tesszük, hogy a csapata döntsön. A kérésautomatizálási demónk az ötletet mutatja be: ez egy böngészőben futó szimuláció, nem valódi munkafolyamat.
Kapcsolat
Melyik adat viszi a legtöbb idejét ma?
Küldjön mintát, vagy írja le a forrást és annak felhasználását. Megmondjuk, hogy kivitelezhető-e, milyen korlátokkal, és hogyan nézne ki a 7 napos próba.