Hướng dẫn dùng Screaming Frog để kiểm tra Url trước khi gửi đi Index

1hPing January 12, 2024

Trong bài viết này, hãy cùng 1hPing tìm hiểu cách sử dụng Screaming Frog để kiểm tra Url, nhằm loại ra những liên kết xấu, noindex, 404 trước khi gửi lên 1hPing để index. Việc này góp phần giảm số lượng url và tiết kiệm chi phí, công sức tạo backlink.

Screaming Frog là gì?

Screaming Frog là một công cụ phân tích SEO được sử dụng để kiểm tra và thu thập dữ liệu liên quan đến trang web. Cụ thể, nó giúp người dùng kiểm tra và đánh giá các yếu tố quan trọng liên quan đến tối ưu hóa công cụ tìm kiếm (SEO) của trang web.

Công cụ này có khả năng quét toàn bộ trang web để thu thập thông tin về cấu trúc trang, thẻ tiêu đề, từ khóa, liên kết, và nhiều yếu tố khác có thể ảnh hưởng đến hiệu suất SEO của trang web. Bằng cách này, Screaming Frog cung cấp thông tin chi tiết và hữu ích giúp người quản trị trang web và chuyên gia SEO hiểu rõ hơn về cách tối ưu hóa trang web của họ để cải thiện vị trí trong kết quả tìm kiếm.

Cách sử dụng Screaming Frog để kiểm tra các Url

Đầu tiên, chúng ta cần phải cài đặt Screaming Frog. Truy cập vào trang web https://www.screamingfrog.co.uk/, chọn Donwload, chọn phiên bản và cài đặt. Đối với phiên bản miễn phí, mặc định sẽ có 500 lượt quét url mỗi lần, còn với phiên bản trả phí sẽ không giới hạn. Key trả phí 1hPing sẽ để ở cuối bài viết.

Bước 1 : Tại thanh công cụ, mọi người chọn Mode -> List

Bước 2 : Tại thanh cộng cụ, mọi người chọn Configuration > robots.txt

Sau khi đã chọn robots.txt, chọn tiếp respect robots.txt và nhấn Ok để lưu lại

Bước 3 : Tiếp tục chọn Configuration ở thanh công cụ, sau đó chọn User-Agent.

Tại mục Preset User-Agents -> Chọn Googlebot (Smartphone), sau đó nhấn Ok để lưu lại. ( Mục đích chọn như thế này để giả lập google bot khi quét Url )

Bước 4 : Chọn Upload -> Enter Manually, sau đó copy danh sách Url cần kiểm tra vào và ấn Next, sẽ có 1 bảng thông tin hiện ra báo Completed reading và tự động xoá link trùng lặp ( nếu có ). Mọi người ấn Ok và tool sẽ tự động chạy kiểm tra Url

Bước 5 : Sau khi tool đã chạy xong, chọn Export để xuất dữ liệu, chọn định dạng lưu file và nơi lưu

Mọi người hãy để ý 2 cột Indexability Indexability Status, với các mã trả về là Blocked by robots.txt, Redirected, No Response, Server Error, URL: Not Found, Client Error, noindex thì thường những url này sẽ không được Google Bot đọc và không thể Index.

Tuy nhiên việc check url này chỉ mang tính chất tương đối và tham khảo, bởi vì nhiều site chặn index nhưng vẫn được google bot đọc và index bình thường, điều này do cách thiết lập chặn index sai.

Key Screaming Frog miễn phí

Dưới đây là 1 số key mà 1hPing tổng hợp được :

Name: VietCodersSEO
Key: 9AA0767301-1676650415-823DD2EBC4

Name: VietCodersTeam
Key: 63998A6F68-1676650350-1C0A9B28D7

Name: VietCoders
Key: 0C51EAC54C-1676650175-D409DA09DE

UserName: crookmaster
Licence Key: F72E448B80-1623596289-A1BCA833FA

UserName: husker101
Licence Key: 91A533D469-1646693739-4FBAD81478

User: VanAnhTo
Lic: 5974E48DFF-1638269235-69C7FBB0E7

User: ToAnhVan
Lic: B0346ABEEC-1638269275-3AFE6260CA

User: seonhangheo
Lic: ED044EFECA-1638269394-26F847622A

User: SeoMXH
Lic: 3B0E6AC227-1638269586-CD95ECA804

User: VietCoders SEO
Lic: 5247028732-1703369573-21FF00C0FF

TK: VietCoders Community
Key: 728488998D-1721871407-3D0A659BF1

User: muachungtool
Key: BEF889C030-1735405092-E0E8510ABB

Tổng kết

Hy vọng qua bài viết này mọi người sẽ nắm rõ cách kiểm tra cũng như hiểu rõ về các trạng thái của Url để đạt tỉ lệ Index cao nhất khi gửi link submit tại 1hPing.

Share