Robots.txt คืออะไร ?

Robots.txt คืออะไร ?

Robots.txt คืออะไร ?

ไฟล์ Robots.txt จะทำหน้าที่อนุญาติและยกเว้นการเข้าถึงไฟล์และโฟลเด้อต่าง ๆ ที่อยู่บน web server ให้กับ web robots ซึ่งเป็นโปรแกรมรวมรวมข้อมูลเว็บไซต์ ( Crawlers หรือบางทีเรียกว่า Spider ) ซึ่งถูกรันแบบอัตโนมัติจาก

หลากหลายแหล่งที่มา และเพื่อความเป็นส่วนตัวของข้อมูลบนโลกอินเตอร์เน๊ต ซึ่งอาจจะมีข้อมูลบางอย่างบนเว็บไซต์ที่เราไม่ต้องการให้ robots เหล่านี้นำไปทำ index หรือทำอย่างอื่น จึงเกิดไฟล์ robots.txt ขึ้นมาเพื่อบอกให้ robots เหล่านั้นรู้ว่า directory ส่วนไหน หรือไฟล์ไหนบนเว็บไซต์ของเรา ที่สามารถนำไปทำ index ได้และไฟล์ไหนไม่อนุญาติให้นำไปสร้าง index เมื่อ web robots เข้ามายังเว็บไซต์ของเรา จะทำการอ่านไฟล์ robots.txt และรับรู้ว่าส่วนไหนอนุญาติและไม่อนุญาติ ก่อนที่จะไปเก็บข้อมูลหน้าเว็บไซต์ของเรา

เหตุผลที่เราควรสร้างไฟล์ robots.txt

สำหรับนักพัฒนาเว็บไซต์โดยทั่วไป เมื่อเราพัฒนาเว็บไซต์ให้ลูกค้าในขั้นตอนของการพัฒนา ( development ) ก่อนที่จะนำขึ้นใช้งานจริง ( production ) อาจจะต้องรักษาข้อมูลทั้งหมดในเว็บไซต์ให้เป็นความลับ เราอาจจะคิดว่าสร้างเว็บไซต์และเก็บไว้ใน sub directory คงไม่ใครรู้ ถ้าไม่ได้ส่งให้ใคร แต่ในความเป็นจริง Web Robots ได้เก็บข้อมูลเว็บไซต์ของเราไปแล้ว และถ้าเราลองพิมพ์คำสั่ง site:www.your-domain.com ใน addresss bar ของเว็บเบราว์เซอร์ จะเห็นว่ามีรายการเว็บไซต์ที่เป็นความลับอยู่ในลิสต์รายการด้วย

สร้างไฟล์ robots.txt

เราสามารถสร้างไฟล์ robots.txt โดยใช้โปรแกรม editor ทั่วไป และสามารถเขียนคำสั่งลงไปได้ แต่มีกฏอยู่ว่าไฟล์ต้องมีชื่อว่า robots.txt เท่านั้น


วิธีสร้างไฟล์ robots.txt

ตัวอย่างคำสั่งใน robots.txt

  • อนุญาติให้ทุก Web Robots
  • อนุญาติเฉพาะ Google Web Robots เท่านั้น
  • ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใด ๆ ในเว็บไซต์
  • อนุญาติให้ทุก Web Robots เก็บข้อมูลในเว็บไซต์ได้ทั้งหมด
  • ไม่อนุญาติให้ทุก Web Robots เก็บข้อมูลใน directory ในรายชื่อ

อัพโหลดไฟล์ robots.txt

วิธีตรวจสอบว่า robots.txt แล้วหรือยัง

หลังจากที่เราสร้างไฟล์ robots.txt และเขียนคำสั่งต่าง ๆ เรียบร้อยแล้ว เราจะเช็กได้โดยการ ใส่ https://www.your-domain.com/robots.txt เป็นต้น

ปล.SoGoodweb ของเราได้ลง robots.txt ใว้ให้โดยอัตโนมัติ

ขอบคุณแหล่งที่มา: codebee

โดย :
 3989
ผู้เข้าชม

บทความที่เกี่ยวข้อง

ในทุกวันนี้นักการตลาดและคนทำงานเอเจนซี่หลาย ๆ คนเรียกได้ว่า ใช้ทำ Content Marketing เป็นหลัก ๆ เลยทีเดียว และกระแส Content Marketing นั้นยังเป็นกระแสที่แรงมากอยู่ ซึ่งใครไม่ทำในทุกวันนี้ถือว่าเฉยเลยทีเดียว และด้วยความที่ว่าหลาย ๆ คนทำ Content กันนี้เองทำให้จำนวน Content ที่มีอยู่ในระบบมากมายต่างมีทั้ง Content ที่ดีและไม่ดีอยู่รวมกันนั้นเอง
Facebook Adbreak คือ Facebook ก็เปิดระบบ Ad Break ให้กับเหล่า Facebook Creator (คนสร้างคอนเทนต์ฝั่ง Facebook นั่นแหละ) ในการหารายได้จากคอนเทนต์ของตัวเองแล้ว

Feature SoGoodWeb

SoGoodWeb มีระบบรับชำระเงินแบบใหม่ผ่าน Pay Solution รองรับทุกธนาคารชั้นนำ ทำให้การจ่ายเงินผ่านช่องทางออนไลน์เป็นเรื่องง่าย ช่วยให้ลูกค้าจ่ายเงินออนไลน์ได้อย่างสะดวก
LINE Notify คือ บริการที่คุณสามารถได้รับข้อความแจ้งเตือนจากเว็บเซอร์วิสต่างๆ ที่คุณสนใจได้ทาง LINE โดยหลังเสร็จสิ้นการเชื่อมต่อกับทางเว็บเซอร์วิสแล้ว คุณจะได้รับการแจ้งเตือนจากบัญชีทางการของ “LINE Notify” ซึ่งให้บริการโดย LINE นั่นเอง
เหมาะสำหรับลูกค้าที่เปิดธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ทั้งที่เป็นเจ้าของเอง หรือเป็นรายย่อย เป็นระบบจองทัวร์ ที่ช่วยทำให้การจัดการธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ให้เป็นเรื่องง่าย
สร้างเว็บไซต์สำเร็จรูปฟรี ร้านค้าออนไลน์