Cách tối ưu file Robots.txt cho WordPress trên công cụ tìm kiếm

Robots.txt là một trong những file cực kì quan trọng khi nói đến SEO worpdress. File robots.txt đóng một vai trò vô cùng mật thiết liên quan đến việc xếp hạng website của bạn trên công cụ tìm kiếm. Nó giúp cho con BOTs (bọ) của công cụ tìm kiếm biết cái nào cần thu thập thông tin, cái nào thì không.

Chính vì sự quan trọng của nó nên việc cấu hình và tối ưu file robots.txt cũng quan trọng không kém, chỉ cần cấu hình sai thì bạn sẽ gây ra sự hỗn loạn cho con bọ của công cụ tìm kiếm. Và cũng chính vì điều này trong bài viết này sẽ hướng dẫn bạn tối ưu file robots.txt này, giúp cho website của bạn tốt nhất trong mắt của công cụ tìm kiếm.

Chắc chắn lúc đó website của bạn sẽ SEO tốt hơn.

Một đóng bùi nhùi trên đó, chắc bạn sẽ không hiểu nổi đâu, nhá hàng cho bạn xem qua thôi.

Có nhiều vấn đề bạn cần phải hiểu trước khi cấu hình, quan trọng nhất chính là bạn muốn làm gì thôi, muốn những phần nào cần công cụ tìm kiếm biết đến, những phần nào thì không. Ví dụ như phần wp-admin chẳng hạn.

Thường thì khi làm website liên quan đến wordpress thì các webmasters sẽ chú ý đến phần này, vì nó sẽ giúp website của họ tốt hơn, hỗ trợ SEO hiệu quả hơn.

Hiện nay có nhiều website hỗ trợ việc tự tạo một file robots.txt một cách nhanh chóng và dễ dàng, tuy nhiên bạn cần phải hiểu nó hoạt động như thế nào? cấu trúc cũng như những lệnh của nó là gì để cấu hình và tinh chỉnh tối ưu tốt nhất cho website của mình.

Như đã nói ở trên file Robots.txt là một file giúp cho con bọ của công cụ tìm kiếm dễ dàng thu thập thông tin trên website của bạn dễ dàng hơn.

Khi con bọ tìm kiếm đến website của bạn thì nó sẽ vào file robots.txt đọc các dữ liệu sau đó nó sẽ làm việc theo file này. Nơi nào cần vào để cập nhật thông tin, nơi nào không cần vào thì nó sẽ bỏ qua.

Celebrities Then and Now

QC

Photo gallery of celebrities then and …

Stanton Daily

View Now

Cứ tưởng tượng website của bạn là cái nhà có nhiều tầng, nhiều phòng. Con bọ là người khách. file Robots.txt là bản quy tắc hướng dẫn cho khách. Khách chỉ cần xem file robots.txt thì có thể làm theo hướng dẫn là được.

Giả sử khách muốn đến phòng có chứ Theme wordpress thì nó sẽ xem trong file robots.txt là có cho phép nó đến đó hay không, nêu không thì nó bỏ qua, nếu có thì nó sẽ đến đó và thu thập thông tin.

Việc tối ưu file robots.txt sẽ giúp con Bots thu thập được thông tin tốt hơn, sau đó nó sẽ gửi trả thông tin đó về máy chủ để được google index (cập nhật) sau một thời gian nhất định thì nội dung đó sẽ được mọi người tìm thấy trên công cụ tìm kiếm theo một số từ khóa nhất định.

Có thể bạn không muốn dùng vì nó quá rắc rối, hoặc nó không cần thiết.

Không hẳn như thế đâu, nếu nói nó quá rắc rối thì hiện nay có nhiều công cụ hỗ trợ bạn tạo file trên.

Nếu nói nó không cần thiết thì không đúng vì nó thuộc một dạng bảo mật cho website của bạn, nó sẽ giúp những file nhạy cảm trên website của bạn không cần phải cho mọi người biết, đặc biệt là công cụ tìm kiếm.

Nếu không có file robots.txt thì công cụ tìm kiếm sẽ index toàn bộ file trong website của bạn, cả những thông tin nhạy cảm chẳng hạn như thư mục quản trị website chẳng hạn.

Chính vì vậy bạn nhất thiết file có một file robots.txt trên trong source code của bạn.

Có 2 cách cơ bản để tạo file robots.txt

Cách 1: tự tạo file robots.txt

Cách này thì bạn cần phải hiểu các thông số sau để giúp bạn cấu hình hiệu quả:

User-agent: dùng để xác định bot của công cụ tìm kiếm, có rất nhiều bot như là Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga) … nếu bạn sử dụng dấu * có nghĩa cho phép tất cả các Bots đều được truy cập vào.

• Allow: cho phép bot vào thư mục, file nào đó
• Disallow: không cho phép bot vào thư mục, file nào đó
• Sitemap: là file hướng dẫn cụ thể giúp cho con bọ đi một cách dễ dàng hơn
• / : Biểu thị thư mục gốc chưa source code
• *: Tượng trưng cho bất kỳ ký tự nào, chữ hay cụm chữ nào
• $: thể hiện là ký tự kết thúc

Những cú pháp thông dụng:

• Chặn toàn bộ site

Disallow: /

• Mở toàn bộ site

Allow: /

• Chặn một thư mục và tất cả cái gì trong thư mục đó

Disallow: /wp-admin/

• Mở một thư mục và tất cả cái gì trong thư mục đó

Allow: /wp-admin/

• Chặn một file nào đó

Disallow: /wp-config.php

• Chặn một file bất kỳ (file gif, media, png, jpg, php, html…)

Disallow: /*.jpg$

Sau khi đã biết các công thức chuẩn thì bạn có thể tự tạo cho mình một file và tự có thể tối ưu file robots.txt của mình. Nếu vẫn chưa rõ thì bạn có thể xem file chuẩn phía dưới ở gần cuối bài viết.

Các vấn đề cần chú ý khi tối ưu file robots.txt

• Mỗi dòng là một câu lệnh
• Không viết dư hoặc thiếu kí tự
• Có phân biệt chữ hoa chữ thường

Cách 2: Tạo tự động file robots.txt thông qua công cụ trên internet

Bước 1: Cấu hình theo mục đích của bạn

Bước 2: Cấu hình hạn chế các thư mục hoặc file bạn không muốn index

Celebrities Then and Now

QC

Photo gallery of celebrities then and …

Stanton Daily

View Now

Bước 3: Tạo một file robots.txt và copy toàn bộ nội dung vào file đó

Celebrities Then and Now

QC

Photo gallery of celebrities then and …

Stanton Daily

View Now

Lưu ý: file robots.txt phải nằm chung với file index.html hoặc index.php

Hoặc bạn có thể tham khảo file robots.txt của Blog Hoàng BCS: https://hoangbcs.com/robots.txt

File này bạn sẽ upload lên Google Webmaster tools, trong phần “Bộ kiểm tra robots.txt”

Nếu bạn chưa cài webmaster tools thì bạn xem bài này:

Tóm lại:

Việc tạo file robots.txt là vô cùng quan trọng giúp rất nhiều cho bạn trong vấn đề SEO, cũng như bảo mật các file quan trọng. Và cũng chính vì vậy chúng ta cần phải tối ưu file robots.txt chuẩn nhất.

Chắc chắn nhu cầu cấu hình file robots.txt sẽ khác nhau, nhưng chung quy sẽ có những phần cấu hình mặc định. Vì vậy nếu có những vấn đề nào bạn chưa rõ hãy để lại bình luận đề cùng nhau tìm hướng giải quyết.

Nếu bạn thấy hay hãy share bài này nhé!

HOÀNG BCS