日韩免费看-日韩免费精品一级毛片-日韩免费精品视频-日韩免费精品-日韩免费观看一级毛片看看-日韩免费观看视频

企億推信息網
專注網絡推廣服務

robots文件的相關知識點您了解多少呢?

網站優化的時候,優化師會為網站添加上robots文件,robots文件是做什么用的?robots文件是告訴搜索引擎蜘蛛這個地址是網站地圖,如果我們有網站隱私文件要屏蔽搜索引擎蜘蛛不讓其抓取時,可以在robots.txt中寫上路徑地址,并且我們可以在robots文件中添加Sitemap網址,幫助網站的抓取機會。

robots文件示例:

User-agent: *

Disallow: /bin/

Sitemap: https://www.zhongtao.net/sitemap.xml

有頁面不想被搜索引擎收錄我們可以是用robots meta標簽來解決,robots.txt文件主要是限制整個站點或者目錄的蜘蛛訪問,而robots meta標簽則主要是針對某個具體的頁面,此標簽放在頁面中,專門用來告訴搜索引擎蜘蛛如何抓取該頁的內容。

我們接下來看看robots meta標簽有幾種使用方式:

1.在content部分robots meta標簽有4個指令選項,分別是:index、follow、noindex、nofollow。

follow 指令表示搜索引擎蜘蛛可以爬行該頁面上的鏈接。

notollow 指令與 follow指令相反,表示搜索引擎蜘蛛不可以爬行該頁面上的鏈接。

index 指令告訴搜索引擎蜘蛛可以抓取該頁面。

noindex 指令與index指令相反,表示搜索引擎蜘蛛不可以抓取該頁面。

2. robots meta標簽中,name="robots"表示所有的搜索引擎,也可以針對某個具體的搜索引擎。

robots文件的相關知識點您了解多少呢?(圖1)

未經允許不得轉載:啟新網站SEO優化 » robots文件的相關知識點您了解多少呢?
分享到: 更多 (0)
加載中~
主站蜘蛛池模板: 热久久最新地址 | 奇米7777第四色 | 91热爆 | 高肉h护士办公室play | 日本高清在线看 | 全弄乱纶小说 | 亚洲日日操 | 爱操综合网 | 国产精品免费久久久久影院 | 国产小视频在线免费 | 免费观看日本人成影片 | 扒开老师挠尿口到崩溃刑罚 | 免费国产高清视频 | 桃色视频破解版 | 亚洲国产无线码在线观看 | 免费高清在线观看 | 热99在线视频 | 午夜久久影院 | 99热这里只有精品免费 | 国产精品激情综合久久 | 免费观看国产精品 | 经典千人斩一区二区视频 | 美女的让男人桶爽免费看 | 亚洲成在人网站天堂一区二区 | 日韩欧美不卡片 | 国产农村一级特黄α真人毛片 | 国产极品美女在线 | 欧美乱理伦另类视频 | 激情亚洲天堂 | 羞羞一区二区三区四区片 | 男人女人叉叉叉 | 国内精品伊人久久大香线焦 | 久久久高清国产999尤物 | 青草视频在线观看免费视频 | 精品欧美小视频在线观看 | 免费看一级| 日本高清动作片www欧美 | 国产一区在线免费观看 | 日本乱子 | 欧美va免费精品高清在线 | 欧美日韩一区二区三区免费不卡 |