ربات MiniGoogle (MiniGoogleBot)
MiniGoogleBot صفحه‌های عمومی وب فارسی و انگلیسی را برای موتور جستجوی MiniGoogle می‌خواند. اگر این نام را در لاگ سایت‌تان دیده‌اید، این صفحه برای شماست.
چطور رفتار می‌کند
- همیشه
robots.txtسایت را رعایت می‌کند، از جملهCrawl-delay. نامش در robots.txt:MiniGoogleBot. - از هر سایت هم‌زمان فقط یک صفحه می‌خواند و بین درخواست‌ها دست‌کم چند ثانیه صبر می‌کند. با پاسخ
429یا503کندتر می‌شود. - فقط صفحه‌های HTML را می‌خواند، تا حداکثر ۱ مگابایت از هر صفحه.
- برچسب‌های
noindexوnofollowوrel=canonicalرا رعایت می‌کند. - از تصویرها و ویدیوهای صفحه فقط نشانی و متن (alt، زیرنویس) را نگه می‌دارد و هیچ فایلی دانلود نمی‌کند. برای اینکه تصویرهای صفحه‌ای در جستجوی تصاویر نیایند،
<meta name="robots" content="noimageindex">را اضافه کنید. - متن کامل صفحه‌ها را نگه نمی‌دارد؛ فقط عنوان، یک خلاصه‌ی کوتاه و ایندکس فشرده.
جلوگیری از خوانده شدن سایت
در فایل robots.txt سایت‌تان:
User-agent: MiniGoogleBot Disallow: /
یا فقط برای کند کردن ربات (فاصله بر حسب ثانیه):
User-agent: MiniGoogleBot Crawl-delay: 10
حذف یک صفحه از نتایج
- برچسب
<meta name="robots" content="noindex">را به صفحه اضافه کنید، یا - صفحه را حذف کنید تا پاسخ
404یا410بدهد.
در بازدید بعدی ربات، صفحه از ایندکس پاک می‌شود. صفحه‌های اصلی سایت هر روز و صفحه‌های عمیق‌تر هر چند هفته دوباره بازدید می‌شوند.
اگر نمی‌توانید صبر کنید، یا صفحه مال شما نیست ولی اطلاعات شخصی شما یا محتوای غیرقانونی در آن است، درخواست حذف از نتایج را بفرستید.
English
MiniGoogleBot reads public Persian and English web pages for the MiniGoogle search engine. It always obeys robots.txt (including Crawl-delay), fetches one page at a time per site with a delay of several seconds, slows down on 429/503, reads only HTML up to 1 MB, and honors noindex, nofollow and rel=canonical. It keeps only the title, a short snippet and a compact index, never the full text. Of pictures and videos it keeps only their address and words (alt text, captions) and never downloads them; noimageindex keeps a page's pictures out of image search.
To keep it out, add User-agent: MiniGoogleBot / Disallow: / to your robots.txt. To remove a page, mark it noindex or return 404/410; it is dropped on the next visit. You can also request a removal.