5-ци от гугъл

December 24, 2006

Да са ми честити, имам 2 нови петици от гугъл за сайтовете cavesbg.com под името caves.4at.info (повишение 2) и за самото 4at.info (+1). Усилията на T0sh за forum.4at.info са възнаградени с 4 (+1). Почти всички останали сайтове, които поддържам са с също с pagerank 5.

Допускам, че увеличенията в 4at.info са свързани с качването на sitemaps, въпреки че днес при проверката им установих, че всички sitemaps, които съм качил, страдат от проблем с несъответствие на домейните – съдържат www.

Гугълбот е много досаден crawler. В състояние е буквално да унищожи един претоварен уеб сървър, ако сървърът не е специално защитен. Caves има местоположения и по този начин една и съща страница може да бъде видяна веднъж с избор на село, веднъж с община, веднъж с пещерен район и веднъж с област. Така 20-25K уникални страници могат да се мултиплицират до 100-150K и googlebot да ги crawl-ва до безкрайност.

Ще се наложи да го направя и за 911, въпреки нежеланието на началството. Там проблемът е още по-дълбок – има към 190K оферти, още към 100 хиляди страници с друга информация и преводи. Броят селекции, при които излизат различни комбинации от данни клони към безкрайност. Броят на индексациите при употреба на google sitemaps ще е 290K. Без sitemaps се е качвал до 2 милиона, без постигане на изчерпателност.

Може да е странно, но планирам да пусна и sitemaps plugin за този блог. Причината е неправилното индексиране на категориите, при което при търсене, особено на картинки, хората попадат на страница, на която тяхното търсене няма резултат. По-умните влизат в кеширана страница, но част от потребителите остават разочаровани.

Поддържането на robots.txt не e форма на защита, защото не се ползва по очаквания начин от ботовете. При crawl-delay 30 секунди, гугъл ми е качвал до 1 импресия в секунда. Важи и за другите досади – msnbot и slurp.

Публикувано в: Гърнето с боба 2 коментара RSS 2.0

Ако постът ви харесва, цъкнете на сърцето:

Коментари

2 коментара на “5-ци от гугъл”

  1. AquilaX on December 28th, 2006 12:48

    В администрацията на Sitemap можеш да указваш колко упорито да се индексира сайта от GoogleBot. Колкото до самия sitemap, не забелязвам да се ограничават само със страниците в него.

  2. Atanas Yanev on January 3rd, 2007 12:43

    AquilaX, това не е точно така 🙂
    По тази логика можеш да му дадеш и “faster” – но с това няма да накараш Gbot да захапва сайта ти по-бързо 😉
    Webmaster Center-а е общо взето за веселба, не и за реални данни и прочее 😉

    dzver, pr update няма – по скоро е имало нещо временно, но към момента pr update няма 🙂
    Може би toolbar-а ти (или с каквото си гледал PR-ите) се е вързал към друго DC, но като цяло – йок ъпдейт, йок нови PR-и 😉

    За много години 😉

Оставете отговор