Zaloguj się Załóż konto
Odpowiedz 
Ustawienie robots.txt na forum MyBB
11.05.2013, 09:37 (Ten post był ostatnio modyfikowany: 11.05.2013 09:54 przez SLAVOO.)
Post: #1
Ustawienie robots.txt na forum MyBB
Mam taki plik robots.txt:
http://insidery.eu/robots.txt
Jak widać ustawione jest Disallow: /newreply.php*
Disallow: /ratethread.php*
tymczasem w Narzędzia dla webmasterów Google mam:
http://scr.hu/screenshooter/5209351/11_0...__10_13_30
Kod odpowiedzi 403

Disallow: /*action=nextnewest*
http://screenshooter.net/5209351/11_05_2013__10_21_11
Kod odpowiedzi 404
Jak to poprawić?

Kod:
Mam taki plik robots.txt:
[code]Sitemap: http://insidery.eu/sitemap.xml

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php*
Disallow: /newthread.php*
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php*
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /search.php
Disallow: /tylsearch.php*
Disallow: /ratethread.php*
Disallow: /thankyoulike.php*
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: / *next
Disallow: / *print
Disallow: / *reply
Disallow: / *post
Disallow: / *action
Disallow: / *=
Disallow: /admin/
Disallow: /cache/
Allow: /

Chwilowo zmieniłem plik na zwykły. Ale chodzi o kod wyżej.
Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
11.05.2013, 14:16
Post: #2
RE: Ustawienie robots.txt na forum MyBB
Sprawdź kiedy wprowadziłeś takie wpisy w robots.txt, a jaka jest data zgłoszenia błędów.
W GWT masz narzędzie Zablokowane URL-e, które pozwala sprawdzić jakie URL są blokowane. Masz również opcję Pobierz jako Google wtedy zobaczysz jak Google "widzi" poszczególne podstrony.

W robots.txt jakiś większych błędów nie zauważyłem, nie analizowałem natomiast czy jest sens blokowania takiej ilości elementów.
To co zauważyłem: spacja pomiędzy elementami
Kod:
Disallow: / *next
Disallow: / *print
Disallow: / *reply
Disallow: / *post
Disallow: / *action
Disallow: / *=

A tak naprawdę niepotrzebnie masz
Kod:
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: / *next
Disallow: / *print
Disallow: / *reply
Disallow: / *post
Disallow: / *action

Skoro niżej masz
Kod:
Disallow: / *=
a raczej powinieneś mieć
Kod:
Disallow: /*=
Radzę się zastanowić czy powyższa linijka nie zablokuje zbyt dużo treści.

Znajdź nas na: Facebooku/Google+ | Download
Pomogłem? [kliknij] Smile

Odwiedź stronę użytkownika Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
11.05.2013, 18:53 (Ten post był ostatnio modyfikowany: 11.05.2013 18:58 przez SLAVOO.)
Post: #3
RE: Ustawienie robots.txt na forum MyBB
Hm... Tak rzeczywiście daty były z przed poprawienia, ale czemu to się znów pojawiło w błędach ze wsteczną datą mimo, że oznaczyłem jako naprawione?
Część jednak było z wczoraj.

Spójrz fachowym okiem czy taki kod może być pod forum oczywiście na silniku MyBB
Kod:
Sitemap: http://insidery.eu/sitemap.xml

User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php*
Disallow: /newthread.php*
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php*
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php*
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /search.php*
Disallow: /tylsearch.php*
Disallow: /ratethread.php*
Disallow: /thankyoulike.php*
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /*next
Disallow: /*print
Disallow: /*reply
Disallow: /*post
Disallow: /*action
Disallow: /admin/
Disallow: /cache/
Allow: /

Co wywalić, co jest niepotrzebne?
Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
11.05.2013, 19:14 (Ten post był ostatnio modyfikowany: 11.05.2013 21:07 przez Lukasz.)
Post: #4
RE: Ustawienie robots.txt na forum MyBB
Pousuwaj wszystkie błędy i poczekaj kilka dni. Google musi również uwzględnić nowy plik Robots.txt

Kod:
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Między innymi fragment powyżej jest niepotrzebne skoro niżej masz
Kod:
Disallow: /*action

Na tym forum nie ma za dużo zablokowanych URL w Robots.txt. Zastosowane jest dodatkowo konwertowanie kanoniczne, więc odpada problem z duplikatami związanymi np. z sortowanie.
Odwiedź stronę użytkownika Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
11.05.2013, 19:35
Post: #5
RE: Ustawienie robots.txt na forum MyBB
Tak zrobię. Dzięki za pomoc. W razie czego napiszę w tym temacie.
Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
Odpowiedz 


Skocz do:


Użytkownicy przeglądający ten wątek: 1 gości



Forum MyBBsite.pl wykorzystuje cookies. Korzystanie z witryny oznacza zgodę na ich zapis lub wykorzystanie, więcej informacji w polityce prywatności
Akceptuję politykę prywatność, zamknij informację