提取
- 公开网站,遵守其条款,且不会造成过大负担
- PDF、发票和扫描文件,使用 OCR 识别
- Excel、CSV 以及其他软件导出的文件
- 官方 API 和开放数据门户(如果存在)
我们以电子表格、CSV 文件的形式交付,或直接导入您的数据库或 CRM。如果数据源持续更新,我们会为您留下一个 n8n 工作流或定时脚本。
这是技术协助,而非法律咨询:如果项目涉及法律问题,应在我们开始前由您的律师进行评估。
我们会阅读每个网站的使用条款及其 robots.txt。后者是网站用来声明不希望被抓取内容的标准(RFC 9309)。我们不会绕过登录、付费墙或验证码,并会限制请求频率。
公开并不意味着可以用于任何目的:GDPR 同样保护已公开的个人数据。我们只收集所需的字段,绝不建立用于未经请求的商业信息推送的名单。
需要导入店铺的 PDF 格式供应商目录、CRM 迁移前需要去重的客户数据库、需要跟踪的某个市场的公开价格,或用于研究的开放数据。
为冷推广而收集邮箱或电话号码,复制受保护的内容再重新发布,或从明令禁止抓取的网站提取数据。如果您需要法律意见,也不适合,这属于律师的工作。
工作流运行在您付费的服务器上,即 n8n Cloud 或您自有的 VPS,费用已包含在报价中,并以您的名义保存。
一个切实可行的方案是清洗并去重您的客户数据库或目录,或将某个特定公开数据源的提取过程自动化。我们从样本开始,约定规则,并附带质量报告交付结果。在处理任何一条记录之前,我们都会以书面形式约定范围、时间和条款。
这取决于数据内容、网站以及用途。网站的使用条款、对其内容的权利,以及如果涉及个人数据,还有 GDPR,都会产生影响。我们会采用审慎的技术标准,并指出我们发现的风险,但我们不提供法律意见:如遇存疑情况,请与您的律师共同决定。
网站页面结构一旦变化,提取过程就会失效。因此我们更倾向于使用官方 API 或下载渠道(如果存在),添加检查机制,在数据为空或格式异常时发出提醒,并记录如何调整流程。如有需要,维护工作将另行约定。
可以,使用 OCR。对于复杂的文档,我们会结合 AI 模型,提取金额、日期或编号等特定字段。质量取决于扫描件的清晰度,因此我们会在样本上进行验证,标记置信度较低的字段,并在文档包含合计时核对总额。
我们结合精确规则(例如相同的税号或邮箱)与模糊匹配,对名称和地址中的缩写、重音符号或拼写错误进行处理。明确的重复项会自动合并,存疑的则列入清单,由您的团队决定。我们的请求自动化演示展示的正是这一思路:它是浏览器中的模拟,并非真实的工作流。