สร้างไฟล์ robots.txt เพื่อให้สิทธิ์การเข้าถึงข้อมูลบนเว็บไซต์

สร้างไฟล์ robots.txt เพื่อให้สิทธิ์การเข้าถึงข้อมูลบนเว็บไซต์

 

 

การสร้างไฟล์ robots.txt ไว้ในเว็บไซต์ของเรานั้น เพื่อเป็นการบอกบอทของแต่ละ Search Engine ที่มาเก็บข้อมูลในเว็บไซต์ของเรา ว่าอนุญาติให้บอทของที่ไหนมาเก็บอะไร หรือไม่ให้เก็บข้อมูลอะไรในเว็บไซต์บ้าง อย่างที่เกริ่นไปข้างต้น สำหรับผู้ที่มีเว็บไซต์การสร้างไฟล์ robots.txt ไว้ในเว็บของคุณจะเป็นการบอก บอทของ Search engine ว่า "ไม่ต้องการให้มาเก็บเว็บไซต์ของฉัน หรือไม่ต้องการให้เก็บข้อมูลหน้าบางหน้า หรือไฟล์บางไฟล์ ในเว็บของฉันนะ" ทั้งนี้ก็เพื่อไม่ต้องการให้ข้อมูลเหล่านั้นถูกเก็บไป หรือ index ไว้ในสารระบบ Search Engine

 

เหตุผลหลักๆ ที่ต้องมีการสร้างไฟล์ robots.txt ก็เพราะต้องการป้องกันไม่ให้ robot ของ Search Engine มาเก็บข้อมูลที่เราไม่ต้องการให้แสดงใน Search Engine นั้น ๆ ซึ่งอาจมีเหตุผลมาจากใน file หรือ folder ในเว็บไซต์นั้นๆ เป็น ความลับหรือเขตหวงห้ามพิเศษ restriction zone/Log-in required zone ที่ไม่อยากให้ Search Engine เข้าไปค้นหาเช่นขอมูลลับของบริษัท ที่ต้อง upload ไปเก็บในเว็บไซต์ เป็นต้น

 

การเขียนไฟล์ robots.txt

 

แบบที่ 1ไม่ต้องการให้บอทของทุก Search Engine มาเก็บข้อมูลเขียนคำสั่ง robots.txt ดังนี้ User-agent: * Disallow: / robots.txt

 

แบบที่ 2ต้องการให้บอทของทุก Search Engine มาเก็บข้อมูล เขียนคำสั่ง robots.txt ดังนี้ User-agent: * Allow: / robots.txt 

 

แบบที่ 3 ต้องการให้บอทของ Search Engine เฉพาะบางที่มาเก็บข้อมูลในเว็บไซต์ได้ ตามตัวอย่าง จะเป็นการอนุญาตให้เฉพาะบอทจาก Google และ MSNเท่านั้น ที่มีสิทธ์เก็บข้อมูลทั้งหมดในเว็บไซต์ของเรา เขียนคำสั่ง robots.txt ดังนี้ User-agent: Googlebot User-agent: msnbot Allow: / robots.txt 

 

แบบที่ 4 ไม่ต้องการให้บอทของทุก Search Engine มาเก็บข้อมูล เฉพาะบางไฟล์ หรือบางโฟลเดอร์ (นอกจากไฟล์หรือโฟลเดอร์ที่ระบุ บอทสามารถเก็บข้อมูลได้) เขียนคำสั่ง robots.txt ดังนี้ User-agent: * Disallow: /foldername Disallow: /filename Disallow: /*.jpg$ (กำหนดให้ไม่ต้องเก็บไฟล์ ที่มีนามสกุล .jpg)ต้องการคำสั่ง robots.txt แบบไหนก็เขียนคำสั่งนั้น ๆ ลงในไฟล์ notepad จากนั้นบันทึกชื่อไฟล์เป็น robots.txt แล้วอัพโหลดไฟล์ไปไว้ที่ root ของ Server เป็นอันเสร็จค่ะ

 

หมายเหตุเพิ่มเติม แม้ว่าเราสามารถกำหนดเขียนไฟล์ robots.txt ไม่ให้บอทมาเก็บข้อมูลที่เราหวงห้ามแต่การเขียน robots.txt ก็เหมือนดาบ 2 คมเพราะถึงแม้ข้อมูลส่วนนี้จะไม่แสดงบน Search Engine แต่ผู้ไม่หวังดีหรือผู้ที่อยากทดลองเข้ามาแฮกข้อมูลอาจจะต้องการดูว่าในเว็บไซต์เรามีส่วนที่หวงห้ามตรงไหนบ้าง แล้วในส่วนที่เป็นข้อมูลหวงห้าม เราควรจะตั้งการเข้ารหัสเนื้อหาข้อมูล เพื่อความปลอดภัยของข้อมูลด้วยเพื่อป้องกันความเสียหายภายหลัง

 

 

 

 

Credit : www.thainextstep.com

By : www.SoGoodWeb.com

โดย :
 5013
ผู้เข้าชม

บทความที่เกี่ยวข้อง

แนะนำเครื่องมือ Text Editor สำหรับพัฒนาเว็บไซต์ที่นักพัฒนานิยมใช้ และมาแรงในช่วงนี้
ควรเข้าใจธรรรมชาติ ของคนเข้าเว็บไซต์ก่อน ว่าคนเข้าเว็บไซต์ไม่อ่าน แต่เป็นการ Scan (การอ่านผ่านๆอย่างรวดเร็ว)
SEO นั้นเป็นเครื่องมือสำคัญอย่างมากในการทำตลาดออนไลน์ เพราะ ตอนนี้การทำ SEO นั้นช่วยให้แบรนด์หรือสินค้าเองนั้นเข้าไปปรากฏอยู่ในชีวิตผู้บริโภคผ่าน Micro Moment ต่าง ๆ

Feature SoGoodWeb

SoGoodWeb มีระบบรับชำระเงินแบบใหม่ผ่าน Pay Solution รองรับทุกธนาคารชั้นนำ ทำให้การจ่ายเงินผ่านช่องทางออนไลน์เป็นเรื่องง่าย ช่วยให้ลูกค้าจ่ายเงินออนไลน์ได้อย่างสะดวก
LINE Notify คือ บริการที่คุณสามารถได้รับข้อความแจ้งเตือนจากเว็บเซอร์วิสต่างๆ ที่คุณสนใจได้ทาง LINE โดยหลังเสร็จสิ้นการเชื่อมต่อกับทางเว็บเซอร์วิสแล้ว คุณจะได้รับการแจ้งเตือนจากบัญชีทางการของ “LINE Notify” ซึ่งให้บริการโดย LINE นั่นเอง
เหมาะสำหรับลูกค้าที่เปิดธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ทั้งที่เป็นเจ้าของเอง หรือเป็นรายย่อย เป็นระบบจองทัวร์ ที่ช่วยทำให้การจัดการธุรกิจทัวร์ - ทัวร์ท่องเที่ยว ให้เป็นเรื่องง่าย
สร้างเว็บไซต์สำเร็จรูปฟรี ร้านค้าออนไลน์