robots txt 写法

```

User-agent: *

Disallow: /user/

Disallow: /login/

Disallow: /register/

Disallow: /review/

```

以上代码的意思是禁止所有的搜索引擎抓取/user/（用户中心）、/login/（登录）、/register/（注册）和/review/（评价）这些目录下的页面。

而对于智控、房地产开发、邮政快递服务等行业，他们的网站内容可能会有所不同，所以在编写robots.txt时根据实际情况来调整。

智控行业的网站可能有很多技术性的文章和文档，这部分内容对搜索引擎是有价值的，所以在robots.txt中允许搜索引擎抓取这些页面；而房地产开发公司的网站可能有大量的图片和视频，不想占用太多的带宽，就在robots.txt中禁止搜索引擎抓取这些资源。

至于邮政快递服务公司，他们的网站上可能会有些实时更新的信息，物流跟踪记录，这部分信息的价值在于及时性，旦被搜索引擎收录，就失去了时效性，所以在robots.txt中禁止搜索引擎抓取。