Hướng dẫn tạo file robots.txt cho wordpress mới nhất 2020

Tạo file robots.txt cho wordpress cũng giống như bạn đang tạo một bản đồ cho website của mình, giúp cho các robot của các search engine có thể đi vào và tìm hiểu website một cách đơn giản, giúp tăng trưởng thứ hạng từ khóa cho website. Trong bài viết này, lamweb.vn sẽ viết một bài hướng dẫn tạo file robots.txt cho wordpress mới nhất 2020.

Hướng dẫn tạo file robots.txt cho wordpress mới nhất 2020

Để chắc là website của bạn xuất hiện trên Trang kết quả tìm kiếm – search Engine Result Pages (SERPs), bạn cần để “bots” truy cập vào những trang cần thiết trên website. File robots.txt được viết tốt có thể dùng để cai quản truy cập của những bots này tới trang bạn muốn (để tránh nó lấy những ngành k cần thiết). Trong bài này, chúng tôi sẽ chỉ dẫn tạo file robots.txt cho WordPress như sau:

1. File robots.txt là gì và tại sao nó cần thiết
2. File robots.txt WordPress được đặt ở nơi nào.
3. làm sao để tạo file robots.txt.
4. Luật nào nên được sử dụng trong file robots.txt WordPress.
5. làm sao để kiểm tra lại robots.txt file, và send nó lên Google tìm kiếm Console.

Sau khi đọc xong bài này, bạn sẽ biết all mọi thứ để cấu hình một file robots.txt hoàn hảo cho WordPress website của bạn. Hãy bắt đầu thôi!

WordPress robots.txt là gì (và nguyên do bạn cần sử dụng nó)

Khi bạn tạo mới một website, kiếm tìm engine sẽ send những con bọ máy tính (bots) tới để ‘quét’ qua nó và tạo ra một bản đồ chứa các trang web trong nó. Bằng phương pháp này, chúng biết được trang nào cần thể hiện hiệu quả khi ai đó tìm từ khóa liên quan. Cơ bản như vậy là đã đủ.

Nhưng vấn đề nảy sinh khi các web hiện chứa nhiều yếu tố hơn là trang web. WordPress cho phép bạn tạo plugins, thường thì nó có thư mục riêng của chúng. Bạn sẽ k mong muốn những trang này hiện lên hiệu quả tìm kiếm, vì thực ra nó k có content trị giá.

File robots.txt xây dựng một bộ tut cho kiếm tìm engine bots. Nó nói với chúng: “Hey, mày có thể xem ở đây, nhưng k đi vào những phòng không giống ở kia!”. File này đủ nội lực rất chi tiết tùy theo cấp độ bạn muốn. Nó cũng easy tạo và k đòi hỏi văn hóa kỹ thuật gì nhiều.

Trên thực tiễn, trình search sẽ lấy site của bạn kể cả khi bạn không có cài file robots.txt. Nhưng sẽ k đạt hiểu quả cao, do bot sẽ index tất cả nội dung của bạn, và lấy sâu đến độ đủ sức nó sẽ hiển thị những nơi bạn không mong muốn mọi người truy cập vào.

hơn nữa, nếu không có file robots.txt, bạn sẽ có nhiều nhiều loại bots get tới lấy lui all site của bạn. vì vậy sẽ gây tác động tiêu cực đến hiệu năng hoạt động của site. Tốc độ trang là yếu tố cần thiết để được tính xếp hạng. Và giống như bạn biết, k ai thích vào một site truy cập chậm khả (kể cả chủ web như chúng ta!). cho nên, tạo một file robots.txt phù hợp cho WordPress là cách không khó khăn nhưng đạt hiệu quả cao cho website của bạn.

Xem thêm: Tổng hợp các plugin nén ảnh wordpress đơn giản mới nhất 2019

File robots.txt WordPress nằm ở nơi nào

Khi bạn tạo web WordPress, nó sẽ auto tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của server. ví dụ, nếu site của bạn đặt trong thư mục gốc của địa chỉ yourfakewebsite.com, bạn sẽ có thể truy cập file robots.txt ở đường kéo yourfakewebsite.com/robots.txt, kết quả ban đầu sẽ tương tự giống như sau:

Đây là gợi ý file robots.txt cơ bản. Phần sau User-agent: Dấu * có nghĩa là nguyên tắc được ứng dụng cho mọi loại bots trên khắp kênh trên web. Trong trường hợp này, file này sẽ nói cho bots biết là chúng k được phép vào trong file thư mục wp-admin và wp-includes. Rất phù hợp phải không, vì 2 thư mục này chứa rất nhiều file thông tin nhạy cảm.

Hãy nhớ, đây là một file không có thực, do WordPress tự xây dựng mặc định khi setup và không chỉnh sửa được (mặc dù nó luôn luôn hoạt động). Thường thì, vị trí file robots.txt WordPress chuẩn được đặt trong thư mục nguồn, thường được gọi là public_html và www (hoặc tên website). Và để tạo file robots.txt cho riêng bạn thì bạn cần tạo một file mới để thay thế file cũ đặt trong thư mục nguồn đó.

Ở tut kế tiếp, chúng tôi sẽ chỉ bạn nhiều phương pháp để tạo mới file robots.txt cho WordPress chỉ trong 1 phút. Giờ thì, hãy nghiên cứu về các quy tắc (rules) mà bạn nên dùng trong file này.

quy tắc nào cần được thích hợp trong file robots.txt WordPress

Ở phần trước, bạn vừa mới thấy ví dụ một file WordPress robots.txt. Nó chỉ có 2 rules ngắn, nhưng hầu hết các website đều có xây dựng nhiều hơn giống như vậy. Hãy Quan sát vào 2 file robots.txt sau để chúng tôi chỉ cho bạn sự không giống biệt của chúng nhé.

ví dụ file WordPress robots.txt đầu tiên:

Đây là file robots.txt chuẩn cho web với một diễn đàn. search engine sẽ thường index những đề tài trong diễn đàn. Tùy vào loại forum là gì, không những thế, thông thường bạn nên disallow it (không cho phép quét). Bằng cách này, Googles sẽ không phải index hằng trăm threads (chủ đề) mà user tạo ra hằng ngày cho những câu chuyện bên lề. Bạn có thể setup rules để dựng lại loại sub-forum nào cần tránh, và để kiếm tìm engines get phần còn lại.

Bạn sẽ thấy có dòng Allow: / trên cùng của file. thể loại này cho bots (bọ máy tính) biết là chúng đủ nội lực get toàn bộ những trang trên web, ngoại trừ các trang bên dưới đặt trong phần Disallow:. giống như bạn nhận thấy, chúng tôi cũng dùng dấu * để áp luật lên universal (toàn trang), giống với file mặc định không có thực của robots.txt.

Giờ, hãy tham khảo ví dụ thứ 2 về mẹo tạo file robots.txt cho WordPres:

Trong file này, chúng tôi sử dụng rules như file mặc định của WordPress. tuy nhiên, chúng tôi còn đặt thêm một số rules để chặn Bing’s kiếm tìm bot get website của bạn. Bingbot là tên của Bot của Bing tìm kiếm engine.

Bạn đủ sức tùy chỉnh đúng loại bot của trình kiếm tìm nào đủ nội lực truy cập website của bạn, và loại nào k được. Trên thực tế, Bingbot cũng tốt (mặc dù không tốt bằng Googlebot). Nhưng có nhiều những bots độc hại ngoài kia.

Một tin xấu hơn nữa là chúng cũng k quan tâm đến tut trong file robots.txt của bạn (chúng độc hại mà cần gì sử dụng theo luật). Điều này có nghĩa là bots chỉ sử dụng theo tut trong file robots.txt, nhưng k có nghĩa là file robots.txt bắt buộc các bots phải làm theo.

Nếu bạn tìm hiễu trên online, có rất nhiều đề xuất rằng bạn nên chặn bots nào và cho phép bots nào trên WordPress website của bạn. bên cạnh đó, với kinh nghiệm của chúng tôi, càng ít rules chừng nào càng tốt chừng đó. Đây là gợi ý bạn nên sử dụng để tạo file robots.txt phù hợp cho WordPress:

Mặc định, WordPress sẽ chặn thư mục wp-admin và wp-includes. bên cạnh đó, điều này không còn được xem là tốt nữa. hơn nữa, nếu bạn thêm metada vào hình của bạn để tăng trưởng tối ưu hóa search (SEO), vậy thì đừng nên chặn bot truy cập vào các thông tin đó phải k. Thay vào đó, 2 rules trên là những gì cơ bản nhất mà một site bình thường cần.

Bạn còn cần thêm gì trong file robots.txt sẽ tùy thuộc vào loại content và nhu cầu của bạn. Giờ thì, hãy tham khảo cách để tạo file robots.txt cho WordPress website nhé!

làm thế nào để tạo file robots.txt cho WordPress (3 cách)

Sau khi bạn đang quyết định rule nào sẽ được đặt trong file robots.txt, phần còn lại là tạo nó thôi. Bạn đủ sức chỉnh sửa file robots.txt trong WordPress bằng plugin hoặc thủ công. Trong phần này, chúng tôi sẽ chỉ bạn dùng 2 plugin phổ biến để tạo file robots.txt cho WordPress và cách thủ công để tạo file robots.txt rồi upload lên hosting. Hãy bắt đầu thôi nào!

1. dùng Yoast SEO

Yoast SEO thì chắc không cần phải giới thiệu nữa. Bất kỳ ai cần SEO cho WordPress website chắc đang có cài plugin này. Nó chỉ dẫn bạn tối ưu bài viết và từng website bằng mẹo tận dụng từ khóa tốt hơn. không những thế, nó cũng giúp bạn tăng cấp độ easy đọc của post, giúp cho post giữ chân người ta lâu hơn.

so với chúng tôi, chúng tôi là fan hâm mộ của Yoast SEO vì tính tiện lợi của nó. cách tạo file robots.txt cũng không khó khăn nếu bạn vừa mới có pluign này. Sau khi bạn cài đặt plugin này xong chuyển tới tab SEO -> Tools trong dashboard của bạn, tìm tới mục gọi là File editor:

bấm vào liên kết đó sẽ gửi bạn tới trang mới, ngành bạn đủ nội lực chỉnh sửa file .htaccess mà k cần thoát dashboard (trang admin WordPress). Có một nút gọi là Create robots.txt file, sẽ khiến bạn tạo file robots.txt:

Khi bạn bấm vào nút này, tab sẽ hiển thị editor mới kênh bạn có thể chỉnh sửa file robots.txt trực tiếp. lưu ý là Yoast SEO sẽ đặt giá trị mặc định của nó, để ghi đè lên file ma robots.txt.

Mỗi khi bạn thêm rules mới hoặc xóa rules cũ, nhớ nhấn nút Save changes lớn robots.txt để lưu lại:

Vậy là xong, bạn đã tạo xong file robots.txt phù hợp cho WordPress. Giờ hãy nhìn thấy phương pháp tạo bằng plugin khác, cũng nổi tiếng k kém.

2. Qua bộ plugin tất cả in One SEO Pack

all in One SEO Pack là một plugin rất nổi tiếng trong giới WordPress SEO. Nó gồm có tất cả những chức năng của Yoast SEO, nhưng nhiều người thích nó hơn vì nó nhẹ hơn. Cũng như vậy với việc tạo file robots.txt cho WordPress, nếu có plugin này thì mọi chuyện rất không khó khăn.

Sau khi bạn đã hoàn tất set up plugin này, chuyển tới mục tất cả in One SEO > Feature Manager trong dashboard. Ở trong đó, hãy tìm tùy chọn có tên Robots.txt, với nút Activate ngay bên dưới. nhấn vào nó:

Giờ, tab mới Robots.txt sẽ hiện bên dưới menu all in One SEO. Bạn click vào đó sẽ thấy nhiều chọn để thêm rules mới cho file, lưu refresh hoặc xóa nó đi:

lưu ý là bạn chưa thể thay đổi file robots.txt trực tiếp từ plugin này. Phần content sẽ bị mờ đi, khác với Yoast SEO là cho bạn gõ tùy like vào file:

Việc này có vẻ hơi bất tiện nhưng nó sẽ tránh giúp bạn việc ghi lỗi cho file robots khiến site bị thiệt hai. Thêm rules mới rất dễ dàng, all in One SEO Pack có đính kèm nhiều chức năng để giúp bạn chặn ‘bad’ bots (bots độc hại), chỉ cần vào tab All in One SEO là thấy:

Vậy là xong. Giờ, hãy nói tiếp đến việc tạo file robots.txt phù hợp cho WordPress thủ công nếu giống như bạn k muốn cài thêm plugin.

3. Tạo rồi upload file robots.txt WordPress qua FTP

không có gì dễ hơn tạo một file txt. Bạn chỉ việc xây dựng text editor bạn like (NotePad hoặc TextEdit), gõ vào vài thể loại vào trong đó, lưu lại dưới bất kỳ tên nào, lựa chọn loại file là txt. Chỉ mất ít phút để sử dụng việc này nên bạn có thể đơn giản tạo file robots.txt trong WordPress mà không cần tới plugin.

Đây là một gợi ý của file robots.txt:

Sau khi bạn tạo xong, bạn cần gắn kết tới website qua FTP. Nếu luôn luôn chưa biết làm, k sao, chúng tôi có bài chỉ dẫn chỉ kết nối tới website qua FileZilla tại đây.

Sau khi vừa mới kết nối thành công, chuyển vào thư mục public_html. Tại đây, bạn chỉ cần upload (kéo thả) file robots.txt từ máy tính sang tới server là được. Bạn cũng đủ nội lực sử dụng vậy bằng phương pháp nhấn chuột phải vào file và lựa chọn upload:

Vậy là xong, thường chỉ mất 1 giây để upload hoàn tất vì file này rất nhẹ. phương thức có thể giúp bạn upload robots.txt wordpress mà k cần thông qua plugin.

rà soát xem file WordPress robots.txt có hoạt động không và gửi nó lên Google kiếm tìm Console

Khi file phù hợp WordPress robots.txt đã được tạo và upload thành công, bạn có thể dùng Google tìm kiếm Console để kiểm thử nó xem có lỗi không. The search Console là bộ tools mà Google cung cấp để test nội dung site của bạn hiển thị như thế nào với trình search. Một trong số các tools này là để check robots.txt. Để dùng, bạn tải nhập vào console, và chuyển tới tab robots.txt Tester:

Bên trong, bạn sẽ thấy trường editor mà bạn có thể nhập code của file robots.txt vào, bấm vào nút Submit. Google kiếm tìm Console sẽ hỏi bạn có mong muốn sử dụng code mới k, hoặc kéo file mới về từ site của bạn. click vào nút Ask Google lớn cập nhật để send lên Google:

Giờ, Google sẽ tra cứu file có lỗi k. Nếu có, nó sẽ cho bạn biết. ngoài ra, giờ chắc bạn đang biết mẹo tạo file robots.txt chuẩn cho WordPress, mức độ to là file của bạn sẽ hoàn hảo!

Nguồn: Hostinger.vn

Xem thêm:  Tổng hợp những cách giảm thời gian phản hồi của máy chủ mới nhất 2019