告诉HN：亚马逊机器人在积极抓取我的网站，并忽略robots.txt文件。
年初，我决定在我的一个个人网站上搭建一个爬虫和大型语言模型（LLM）蜜罐，其中包含一个虚假的 Git 仓库，里面的代码包含虚假的 HTTP 端点。这个仓库的地址隐藏在一个公共页面的评论中。
大约三周前，来自亚马逊搜索机器人（Amazon Searchbot）的 IP 地址尝试向包含在一个 shell 脚本中的虚假端点发起请求。
我的 robots.txt 文件中明确包含了 Amazonbot。
老实说，我对这来自亚马逊的行为感到惊讶。这种行为合法吗？
查看原文
At the beginning of the year I decided to set up a scraping and LLM honeypot on one of my personal websites which included a fake git repo with code containing fake HTTP endpoints. The address to this repo was hidden in a public page inside a comment.<p>About three weeks ago IP addresses from Amazon Searchbot attempted to make requests to the fake endpoints included inside a shell script.<p>My robots.txt explicitly includes Amazonbot.<p>I am honestly surprised that this is coming from Amazon. Is this kind of behavior legal?