Не очень благозвучное заглавие для поста про разное высокое теоретизирование, потому одновременно прошу прощения у любителей означенной медицинской процедуры, наступивших через поиск не туда. Ошибочка вышла. Уж простите местного автора, но свыкся он сочинять такие тайтлы, чтоб не в бровь, а в глаз...

Как, наверное, многие уже поспели заметить, в последнее время в Рунете хрень какая-то произошла. Не хворь и не эпидемия, а именно хрень- не совсем понятная штука с неочевидными гносеологическими корнями, какую ни умом понять, ни аршином совместным измерить- у нас в Раше испокон веков всё такое замысловатое :)

Медвежья болезнь.

Но хиханьки хаханьками, а многим между тем не до хохота. Великий и страховитый Яндекс, дерябнув в начале осени явно чего-то не того, сходил в сортир и попугал Ихтиандра. В плоде чего его хорошенько вырвало, а его индекс заметно похудел.

Тем дело не ограничилось- после промывания желудка, через всего неделю, в ход пошла ещё и очистительная клистир, и после ещё одного акта пугания Ихтиандра в яндексовом индексе и совсем мало чего осталось- всё дерьмо (по мнению Яндекса) благополучно слилось в унитаз, да расстанутся мне упоминания столь неприглядных сущностей в общественном заведении.

Понятно, что сами вебмастера не абсолютно согласны с этакий классификацией их сайтов, и уж тем более с такими действиями конторы имени Платона Щукина. Тем паче, что сам Платон машинальным отзывом ставит вебмастеров на место- «окстись, уважаемый- твой сайт вовсе не побанен, немножко страниц в серпе осталось, так что старайся, пиши качественный контент, блюди нашу лицензию- и будет тебе удача».

Вебмастер, конечно, тут же грузится по самые брови в понимание того, почему от одной до дюжины страниц в индексе торчат, и чем оные отличаются от всех других, индекса недостойных. Впустую, в общем-то, грузится, поэтому как никакой закономерности тут нет.

Закономерность несколько в другом.

Если помнит кто, то возраста полтора назад Яндекс уже совершал в точности то же самое- то ли втыкал себе два пальца в глотку, то ли юзал кружку Эсмарха, но проявления бывальщины аналогичными- число страниц у сайтов в индексе сжималось до (чаще всего) одной штуки, после чего спустя некоторое время сайт или ворачивался обратно, или банился.

Причём возвратившийся сайт мог повторять эти эволюции в дальнейшем ещё несколько раз, и заканчивал их снова-таки неминуемым баном. Можете схватиться в качестве модели муху- замёрзнуть, оттаять и ожить она может всего лишь ограниченное число раз. После чего всё её здоровье истощится, и она окончательно окочурится.

То есть нового у Яндекса ничего не произошло- та же медвежья болезнь. Только отмеченная с вящим размахом.

Ничто не свидетельствует в прок окончательного и бесповоротного выздоровления Яндекса, а значит, всё это довольно повторяться регулярно и впредь. Так что давайте поймём, с чем мы на самом деле встретили тогда и сейчас.

С чем мы имеем дело?

Начинать понимание следует с Гугла.

Если кто не в курсе, то сайт в серп Гугла встаёт удовлетворенно быстро, и попервости (недели две-три) даже вроде бы получает некие преференции, в вебмастерской среде называемые как «бонус новичка» - документы сайта довольно легко отыскиваются в топе по адекватным контенту низкочастотникам, приобретают поисковый трафик, и даже приносят какие-то важные деньги, если по сути и замыслу весь этот сайт есть не что иное, как дор.

Всегда бы так было :)

Но испариной время чудес кончается, и Гугл на основе накопленной информации по поведению серферов на принесенном сайте, ссылочного ранжирования и Бог слух чего ещё, начинает потихоньку применять к документам сайта фильтры. И если в сапплементал в результате уйдёт процентов 80 документов сайта, а не больше, находите, что Вам сказочно повезло...

В Яндексе вопрос фильтрования серпа создан несколько иначе. И более всего сама базовая процедура походит мне бассейн с двумя трубами, образ которого ничего не говорит нынешним челам, но являл форменный кошмар для обучавшихся математике в школах во периоды Гагарина.

Действительно, когда по одной трубе (индексирующий бот) в серп что-то втекает, по противоположный (алгоритм фильтрации) что-то выливается, а внутри бассейна всё бурлит и плещется, то ну никак нельзя предугадать тот момент, когда Ваш сайт засосёт в слив. Может быть, это случится через немножко дней после попадания в индекс, а может быть, и через год. Как повезет в данном хаосе броуновского движения.

То есть линейная и неотвратимая, а потому понятная схема (как в происшествии Гугла) заменяется на беспорядочный метод тыка. Что и повергает вебмастеров в уныние кажущейся непредсказуемостью поведения Яндекса.

Причём это ещё не все непонятки.

Непринужденно, сами правила фильтрации носят преходящий характер, и через пару недель уже довольно отфильтровывать совсем не те сайты, что отлавливают сегодня. Правила эти динамичны, зазнаются, ясное дело, программерами искалки на ядру анализа эффективности работы фильтров за предыдущий этап, то есть весь процесс итерационный и циклический.

Как и всякий итерационный процесс, в каждой смежной итерации исправляла фильтрации не могут меняться слишком сильно. А потому сайт, попадший под фильтры, уже в вытекающем периоде может быть либо амнистирован (вернуться в индекс целиком), либо угодить под фильтрацию более конкретно.

Продолжительное пребывание под фильтрами равноценно бану, хождение по границе чувствительности фильтров приводит к периодическому исчезновению из серпа. А то, что такое пропадание определено именно фильтрами, наглядно видно из присутствия некоторых страниц сайта в индексе (как распоряжалось, это морда плюс, возможно, несколько других страниц) - то есть именно бана нет.

Виноваты ли Хитрые Конторы?

Многие вебмастера, чьи сайты ходят по граням фильтров, и периодически вываливаются из индекса, логично представляют истоки всех своих бед в продажных ссылках, от каких-нибудь, тем не менее, всё никак не могут отказаться- да, мышки страдали, плакали, кололись, но исступлённо грызли кактус...

Если возвыситься научные публикации сотрудников Яндекса, то да, действительно, там есть изображения исследований, позволяющих на основе даже достаточно скромной выборки с 95% вероятностью сказать про каждую ссылку на любом сайте, продажная ли она. Причём сам метод не ресурсоёмкий, лечит лишь лингвистику, и может быть применён хоть сейчас.

Однако, пока что не употребляет- иначе все мы это бы тотчас испытали, а сами Хитрые Конторы давно бы испустили дух. В чём пока никто не заинтересован.

Между тем, подкупные ссылки, конечно же, оказывают воздействие на ссылочное ранжирование и серп в целом, искажая нормальное направление вещей, поэтому перенасыщенность сайта ссылками «не в тему», бесспорно, равносильно команде «фас», подаваемой фильтрам. Хотя сам факт продажности пока что никому не увлекателен. Пока что, обратите внимание.

То имеюсь, линкуясь на всяких придурков, Вы достигнете того же результата, что и поставив даже сильнее ссылок на не в тему, но за деньги. Потому что подкупные ссылки обычно ведут на что-то более-менее серьёзное и осмысленное, у чего есть здоровая составляющая, а придурки - они и в Африке придурки...

Но, между тем, собственно продажные высылки сами по себе не есть единственная и основная причина фильтрации или бана сайта.

Причина медвежьей заболевания Яндекса.

Она азбучная: ресурсы искалки не безграничны, фильтрации сайтов на периоде добавления в индекс (как у Гугла) нет, ибо это сложно и ресурсоёмко, а потому высвобождение ресурсов от «гуано» осуществляет силами зондер-распоряжения в лице так называемых фильтров, являющих собой совершенно независимый и ни с чем не синхронизируемый процесс (и вот в данном-то вся беда, ибо внешне это носит характер эпидемии).

То кусать обожравшемуся индексу иногда становится совсем плохо и тяжко, и в одолжить момент добрая медсестра в порыве детолюбия загибает индекс носом к коленкам, и ставит ему ведёрную клистир со скипидаром.

Процесс периодически повторяется, ибо по-другому, похоже, вся эта система трудиться просто не может. Ибо тут надо либо не жрать что оказалось (а не приучен), либо блюсти диету (по какой-то причине не получается), либо так отстроить систему пищеварения, дабы клизма не понадобилась- судя по всему, вот с этим-то и самая большая проблема.

Как обычно, в Раше всё решается сквозь жопу. Прости меня, Господи...

Но есть одно наблюдение.

Очень похоже, что фильтры, ответственные за выдворение недостойных сайтов из индекса искалки, лечат концепцию оттаявшей мухи- амнистия выдаётся всего лишь несколько раз, после чего сайт банится нахрен. А поэтому есть некий «список попавших под раздачу сайтов», по коему зондер-команда периодически пролетает, и смотрит, достоин сайт очередного наказания в соответствии с текущими настройками фильтров, или нет.

Из данного следует, что с единожды вывалившимся из индекса сайтом непременно что-то надо сделать. Ибо требуется глухо отвести его от границы применимости фильтров. А если ничего с сайтом не совершать, то фильтры захапают сайт сызнова, и число попыток его амнистии очень быстро исчерпается, а сайт довольно расстрелян зондер-распоряжением.

А что такого Вы в принципе можете сделать?

Ниже в некотором роде фантазии, но исходят они из здравых вещей, увеличивающих привлекательность Вашего сайта с точки зрения искалки (а по данному и фанатеют фильтры, ясен пень).

• Уберите неуникальность контента в границах сайта.
  Не должно быть дублирования одного и того же контента в разнообразных урлах.
  Это у Гугла приготовлен сапплементал, а у Яндекса предусмотрен лишь бан.
• Ценность контента сайта- да, предмет в себе.
  И копипаст, безусловно, это не хорошо.
  Но, ежели без него никак, то хоть ставьте ссылку на ключ- это уже не воровство контента, а добросовестное цитирование.
  Если Вы при одолжить думаете, что тут самое место ноиндексу и нофаллову, то смело продолжайте иметься в этом уверенным, дабы вскорости узнать суждение Яндекса на сей счёт.
• Если кто-то считает, что какие-то там уникализаторы текста, позволяющие из килобайтного текста про разнообразную чешую сделать сто «редких» текстов про ту же чешую, но проходящие какие-то там «тесты на редкость», то с этого места начинайте знать, что это далеко не так.
  Современным искалкам глубоко лилова степень уникальности Вашего текста. Сегодня мериле несколько иные- есть в этом тексте полезная составляющая, или в нём наличествует только та самая пресловутая чешуя.
• Отсутствие полезного наполнения (или вообще того, что возможно иметься в принципе проанализировано алгоритмами) – стопудовый повод для выкидывания документа из индекса. Грустно, но пока под эту дудку с треском и свистом с Яндекса падают всякие фотосайты и тому подобные вещи, где мало букв.

Но это те мгновения, на которые следует ориентироваться глобально. А что делать, если сайт «мигнул», то есть однажды уже пошел под фильтры? И нет никакой потенциала убрать дублированный в пределах сайта контент, или проставить ссылки на источник копипаста?

Рецепт выздоровления.

Ведь бывает, что на домене есть серьёзные показатели пузомерок, доставшиеся колоссальными затратами времени, усилий и денег - было бы весьма обидно всё это потерять.

Тут надо сделать что-нибудь, дабы изъять этот домен из «расстрельного списка» - после того, как домен «упустит», и до следующего подпадания его под фильтры, как следует из раньше озвученных соображений, может пройти очень много времени :)

В руководителя приходит самое простое- снять с домена делегирование, чтобы в домене не было ничего, и домен достался из индекса, а потом заново его проиндексировать, как свежачок. При одолжить, как правило, показатели пузомерок не успевают рассосаться- даже у отрешенного много лет в индексе сайта сохраняется весь его ТИЦ.

Можно. Но, к раскаянию, как показала практика, выпадает из индекса таким макаром домен весьма долго.

Примерно так же медленно, как и при внезапном запрете индексации спустя файл роботса. Наверное, искалка никак не возможно поверить, что Вы добровольно решились на такое :)

Вариантом может иметься изменение структуры УРЛов- в частности, достаточно смены рабочего расширения с .html на .shtml, к примеру свидетельствуя, даже без варьирования урлопостроения (поскольку это составляет некоторую проблему, если только Вы сами не написали движок личного сайта). Но только если по адресам со старым расширением возникает ошибка 404.

В последовательности случаев можно вообще ничего не менять, но заставить движок отдавать хедер 404 ошибки- для бота это будет равносильно отсутствию документа в этом адресе, желая пользователь никак этого не испытает. Тут, впрочем, может возникнуть трабл с хитроботом, ибо тот, напротив, не смотрит на хедеры, но сверяет буковки документа с архивированной в индексе вариацией.

Но вот что может сделать любой вебмастер, так это выкинуть нахрен процентов десять-двадцать документов, и присовокупить (на их место, или в новоиспеченные урлы) столько же других, либо даже чуть больше. Причём разово, а не постепенно, как это всегда рекомендуется.

То есть устроить аврал и подать команду свистать всех наверх.

Чем решительнее Вы перекроите свой сайт, тем ярче испугаете фильтры контента Яндекса- есть неслабая вероятность, что они от Вас отвяжутся.

Видите, которое это неблагодарное занятие, дружить с Яндексом? Но ловля пуще неволи, кто бы спорил...

Ну и приписка ко всему вышесказанному, имеющая силу дискламбера.

Мастак Ласто, понятное дело, ни разу не сотрудник Яндекса, а потому не возможно знать наверняка, какое именно действие избавилёт Ваш сайт от бана после первого выпадения его из индекса. А поэтому не несёт никакой ответственности за всё то, что Вы предпримите, поначитавшись вышеизложенного, равновелико как и за противодействие Яндекса в ответ на это.