查找网站访问较多的 User_Agent可通过“访问统计”功能进行查看，登录进入到虚拟主机管理面板点击“访问统计”。

进入访问统计详细页面--找到“浏览器 (前 10) 点击：全部列出/版本 ”查看访问占比较大的客户端（User_Agent）浏览器版本。

如果某个特定的特征占的比例特别高，比如User_Agent为Amazonbot的占了90%，而Amazonbot对我们网站不是太重要的话，可按以下方式设置拦截。

 屏蔽多个以"|"分隔，且同样适用屏蔽蜘蛛的访问爬行，规则如下：

Linux主机下规则文件.htaccess(可手工创建.htaccess文件到站点根目录)添加以下规则：

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Bytespider|Amazonbot|YisouSpider|^$" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

Windows主机下规则文件web.config (可手工创建web.config文件到站点根目录)添加以下规则：

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Bytespider|Amazonbot|YisouSpider|^$" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>