WebArchiveはChromeに偽装してクロールをしている

 2025-08-29 14:06:58   猫川
私は自分のサイトを.htaccessやCloudflareを使ってアーカイブをできないように設定してるんですが
この前なんとなくWebArchiveで自分のサイトを調べてみたら、普通にアーカイブされてました(泣)
自分のクソホームページを永続的に残したくないので、自分でホストするのはいいけどもアーカイブはされたくないんですよね。

で本題に入ると、
WebArchiveのUAにはarchive.org_botとかia_archiverがあると言われているけど、これらをブロックしてもWebArchiveはChromeに偽装してクロールしてくるっていう話です。

一応HeadlessChromeってわかりやすくしてくれてますけど、これをブロックしても解決しなさそうな...