User-agent: * 


User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /*.php
#先禁直所有内容

Disallow: /



#开放主页。不支持Allow将不能收录主页；如果不支持$，大概会全部开放

Allow: /$



#开放所有.html页，对DZ来说有 列表面、帖子、archiver

#将来TAG内容丰富后，后台设置将TAG页面静态化自然也就允许收录TAG了

Allow: /*.html 



Allow: /viewthread.php #开放帖子的各种动态形式

Allow: /redirect.php #开放帖子的跳转形式

Allow: /forumdisplay.php #开放列表面的各种动态形式

Allow: /archiver/ #只有放开这个目录,robots开能进入抓取*.html的东西