Robots.txt คืออะไร ?

Robots.txt คืออะไร ?

Robots.txt คืออะไร ?

ไฟล์ Robots.txt จะทำหน้าที่อนุญาตและยกเว้นการเข้าถึงไฟล์และโฟลเด้อต่าง ๆ ที่อยู่บน web server ให้กับ web robots ซึ่งเป็นโปรแกรมรวมรวมข้อมูลเว็บไซต์ ( Crawlers หรือบางทีเรียกว่า Spider ) ซึ่งถูกรันแบบอัตโนมัติจาก

หลากหลายแหล่งที่มา และเพื่อความเป็นส่วนตัวของข้อมูลบนโลกอินเตอร์เน๊ต ซึ่งอาจจะมีข้อมูลบางอย่างบนเว็บไซต์ที่เราไม่ต้องการให้ robots เหล่านี้นำไปทำ index หรือทำอย่างอื่น จึงเกิดไฟล์ robots.txt ขึ้นมาเพื่อบอกให้ robots เหล่านั้นรู้ว่า directory ส่วนไหน หรือไฟล์ไหนบนเว็บไซต์ของเรา ที่สามารถนำไปทำ index ได้และไฟล์ไหนไม่อนุญาตให้นำไปสร้าง index เมื่อ web robots เข้ามายังเว็บไซต์ของเรา จะทำการอ่านไฟล์ robots.txt และรับรู้ว่าส่วนไหนอนุญาตและไม่อนุญาต ก่อนที่จะไปเก็บข้อมูลหน้าเว็บไซต์ของเรา

เหตุผลที่เราควรสร้างไฟล์ robots.txt

สำหรับนักพัฒนาเว็บไซต์โดยทั่วไป เมื่อเราพัฒนาเว็บไซต์ให้ลูกค้าในขั้นตอนของการพัฒนา ( development ) ก่อนที่จะนำขึ้นใช้งานจริง ( production ) อาจจะต้องรักษาข้อมูลทั้งหมดในเว็บไซต์ให้เป็นความลับ เราอาจจะคิดว่าสร้างเว็บไซต์และเก็บไว้ใน sub directory คงไม่ใครรู้ ถ้าไม่ได้ส่งให้ใคร แต่ในความเป็นจริง Web Robots ได้เก็บข้อมูลเว็บไซต์ของเราไปแล้ว และถ้าเราลองพิมพ์คำสั่ง site:www.your-domain.com ใน addresss bar ของเว็บเบราว์เซอร์ จะเห็นว่ามีรายการเว็บไซต์ที่เป็นความลับอยู่ในลิสต์รายการด้วย

สร้างไฟล์ robots.txt

เราสามารถสร้างไฟล์ robots.txt โดยใช้โปรแกรม editor ทั่วไป และสามารถเขียนคำสั่งลงไปได้ แต่มีกฏอยู่ว่าไฟล์ต้องมีชื่อว่า robots.txt เท่านั้น


วิธีสร้างไฟล์ robots.txt

ตัวอย่างคำสั่งใน robots.txt

  • อนุญาตให้ทุก Web Robots
  • อนุญาตเฉพาะ Google Web Robots เท่านั้น
  • ไม่อนุญาตให้ทุก Web Robots เก็บข้อมูลใด ๆ ในเว็บไซต์
  • อนุญาตให้ทุก Web Robots เก็บข้อมูลในเว็บไซต์ได้ทั้งหมด
  • ไม่อนุญาตให้ทุก Web Robots เก็บข้อมูลใน directory ในรายชื่อ

อัพโหลดไฟล์ robots.txt

วิธีตรวจสอบว่า robots.txt แล้วหรือยัง

หลังจากที่เราสร้างไฟล์ robots.txt และเขียนคำสั่งต่าง ๆ เรียบร้อยแล้ว เราจะเช็กได้โดยการ ใส่ https://www.your-domain.com/robots.txt เป็นต้น

ปล.SoGoodweb ของเราได้ลง robots.txt ใว้ให้โดยอัตโนมัติ

ขอบคุณแหล่งที่มา: codebee

โดย :
 7267
ผู้เข้าชม

บทความที่เกี่ยวข้อง

Electronic Commerce หรือ การพาณิชย์อิเล็กทรอนิกส์ หมายถึง การทำธุรกรรมทางเศรษฐกิจที่ผ่านสื่ออิเล็กทรอนิกส์ เช่น การซื้อขายสินค้าและบริหาร การโฆษณาสินค้า การโอนเงินทางอิเล็กทรอนิกส์ เป็นต้น จุดเด่นของ E-Commerce คือ ประหยัดค่าใช้จ่าย และเพิ่ม ประสิทธิภาพในการดำเนินธุรกิจ โดยลดความสำคัญขององค์ประกอบของธุรกิจที่มองเห็นจับต้องได้ เช่นอาคารที่ทำการ ห้องจัดแสดงสินค้า (show room) คลังสินค้า พนักงานขายและพนักงานให้บริการต้อนรับลูกค้า เป็นต้น ดังนั้นข้อจำกัดทางภูมิศาสตร์คือ ระยะทางและเวลาทำการแตกต่างกัน จึงไม่เป็นอุปสรรคต่อการทำธุรกิจอีกต่อไป
สัปดาห์ที่ผ่านมา ประเด็นที่ถูกพูดถึงมากที่สุดคือ “การชำระเงินด้วย QR Code” ซึ่งหลายธนาคารก็พร้อมใจกันขานรับนโยบาย QR Payment เปิดให้ชำระเงินผ่านแอปพลิเคชั่น จากการเก็บข้อมูลของ ธนาคารแห่งประเทศไทย พบว่า ตอนนี้คนต่างจังหวัดสนใจ และอยากใช้ระบบ QR Payment แต่ยังติดในเรื่องความไม่สะดวก รวมถึงร้านค้าหลายร้านยังไม่รองรับการชำระเงินแบบนี้ แตกต่างจากในกรุงเทพฯ ที่ร้านค้าหลายแห่ง ที่เริ่มเปิดให้จ่ายเงินผ่าน QR Code ได้แล้ว เพื่อลดการใช้เงินสด กระตุ้นให้เกิดการใช้จ่าย ที่สำคัญยังช่วยลดเวลาและต้นทุนต่างๆ จากเดิมที่ผู้บริโภคต้องกดเงินสดจากตู้ ATM เพื่อซื้อสินค้า ร้านค้าก็ต้องนำเงินไปฝากธนาคารอีกต่อ และธนาคารจะนำเงินมาที่ตู้ ATM อีกครั้ง เพื่อรอการเบิกถอนต่อไป ซึ่งธนาคารต้องนำเงินสดมาใส่ตู้ ATM เดือนละ 6-10 ครั้ง ครั้งละไม่เกิน 3 ล้านบาท โดยขั้นเหล่านี้ต้องเสียทั้งเวลา และค่าใช้จ่าย
Pay per click เป็นการ โฆษณา ผ่านทางตัวแทนเว็บ เพื่อทำการ โฆษณา เว็บของคุณ โดย ค่าใช้จ่าย จะคิดจากจำนวนคลิกเป็นหลัก หากไม่มีจำนวนของการคลิก ก็จะไม่เสียเงินค่าโฆษณาแต่อย่างใด แต่อาจจะมีแตกต่างไปบ้างตามแต่ข้อตกลงแต่ละค่าย เช่น อาจจะมีการคิดเพิ่มเติมในรูปแบบของ ePPM หรือ จำนวนการแสดงโฆษณาต่อการแสดงหนึ่งพันครั้ง ในปี 2550 กูเกิล ได้เสนอระบบใหม่ Pay-Per-Action[1] ซึ่งอยู่ในขั้นทดลอง โดยเปลี่ยนจากระบบการจ่ายเงินค่าโฆษณาตามจำนวนที่มีคนคลิกเข้าไปดู เป็นการจ่ายเงินตามการกระทำที่กำหนด เช่น ซื้อของอย่างน้อยหนึ่งชิ้น หรือเข้าดูหน้าใดหน้าหนึ่ง โฆษณา PPC นั้นคือการลงโฆษณาผ่าน search engine ต่างๆ เช่น Google, Yahoo, MSN ใน keywordที่เกี่ยวข้องกับสินค้าหรือบริการของคุณ วิธีนี้จะคล้ายคลึงกับการทำ SEO (Search Engine Optimization)เพียงแต่เว็บของคุณจะปรากฏอยู่ทางขวามือในส่วนของโฆษณา(ในขณะที่ SEO จะอยู่ทางด้านซ้ายมือ) โดยคุณจะเสียเงินค่าโฆษณาก็ต่อเมื่อมีคนคลิกโฆษณาของคุณเท่านั้นหากแสดงเฉย ๆ จะไม่เสียเงินค่าโฆษณา

Feature SoGoodWeb

SoGoodWeb มีระบบรับชำระเงินแบบใหม่ผ่าน Pay Solution รองรับทุกธนาคารชั้นนำ ทำให้การจ่ายเงินผ่านช่องทางออนไลน์เป็นเรื่องง่าย ช่วยให้ลูกค้าจ่ายเงินออนไลน์ได้อย่างสะดวก
LINE Notify คือ บริการที่คุณสามารถได้รับข้อความแจ้งเตือนจากเว็บเซอร์วิสต่างๆ ที่คุณสนใจได้ทาง LINE โดยหลังเสร็จสิ้นการเชื่อมต่อกับทางเว็บเซอร์วิสแล้ว คุณจะได้รับการแจ้งเตือนจากบัญชีทางการของ “LINE Notify” ซึ่งให้บริการโดย LINE นั่นเอง
เหมาะสำหรับลูกค้าที่เปิดธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ทั้งที่เป็นเจ้าของเอง หรือเป็นรายย่อย เป็นระบบจองทัวร์ ที่ช่วยทำให้การจัดการธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ให้เป็นเรื่องง่าย
สร้างเว็บไซต์สำเร็จรูปฟรี ร้านค้าออนไลน์