查看“︁GPTBot”︁的源代码

https://developers.openai.com/api/docs/bots

GPTBot 是 [[OpenAI]] 于 2023 年 8 月发布的网络爬虫工具，用于从公开网页抓取文本数据，以训练和改进其人工智能模型。该爬虫通过标识自身[[用户代理字符串]]（如 Mozilla/5.0 AppleWebKit/537.36 和 GPTBot/1.0）区分流量，并支持网站管理员通过 robots.txt 文件选择屏蔽其访问。GPTBot 被设计为仅抓取公开内容，不访问需登录、付费墙或违反 OpenAI 政策的页面。其推出旨在扩充训练数据来源，同时为网站提供控制参与度的机制。2024 年，OpenAI 还发布了其他专用爬虫（如 ChatGPT-User 和 OAI-SearchBot），以区分不同服务的抓取行为。