Могут ли сосуществовать в коде страницы теги NOINDEX и FOLLOW? будет ли происходить индексация по пути, который мы указываем для робота Гугл с помощью тега FOLLOW, после использования тега NOINDEX?

[inzhener67 0]

Посоветуйте, пожалуйста, что делать и кому верить? ))
У меня есть сайт, которому уже 3 года, но из имеющихся на нем 150тыс товаров в индексе Гугл находятся только от силы 10% (согласно дынным Google Console).
Разработчик сайта говорит, что все дело в особенности моих товаров. Гугл их воспринимает, как дубли и не индексирует. Поэтому те страницы, которые разработчик называет/считает дублями, он пометил тегом "NOINDEX".
У меня есть сайт, где одна из корневых/главных категорий находится в индексе, а вот страницы пагинации - в NOINDEX, потому что это прописано в коде тех страниц. То есть получается, что сам сайт как бы "закрывает" страницы для индекса.
ОТВЕТ РАЗРАБОТЧИКА моего сайта: 
Страницы пагинации являются дубликатами основной страницы категории. Они и закрыты - сайт закрывает страницы пагинации  NOINDEX  - это не индексировать страницу пагинации, другие страницы - индексируются не по этому полю а по ссылкам уже на странице пагинации.  NOINDEX  - это тег не добавлять в индекс страницу на которой он находится к другим страницам он не относится если его там нет.
(НА ПРАКТИКЕ: эти "другие страницы" не индексируются вообще!
Я спрашиваю: как гугл сможет добавить в индекс товары с этих страниц (страниц пагинации), если сами страницы не индексируются?)
ОТВЕТ РАЗРАБОТЧИКА:
Там рядом другой Тег follow следовать, вот по нему и идёт робот 
Я:
а почему в индексе только 1/10 от всех залитых товаров? получается, что робот не идет туда, куда нужно...
ОТВЕТ РАЗРАБОТЧИКА:
Я же вам писал по этому поводу, он большую часть считает дублями, нет интереса их добавлять.

ВОПРОС: кто прав??? как решить проблему с тем, что товары не индексируются??? (ведь на сайтах конкурентов проиндексированы все подобные товары! значит проблема не в товарах, а в SEO.)
будет ли происходить индексация по пути, который мы указываем для робота Гугл с помощью тега FOLLOW, если выше в коде страницы уже использован тег NOINDEX?
И вообще влияют ли на "путь" робота Гугл наши теги типа FOLLOW или он действует по другим алгоритмам?

[vitponom 57]

w3schools - почитайте для начала.

тег <noindex></noindex> - когда-то в древности был, но этот тег не является официальным тегом разметки страницы посредством html

тега "nofollow" - вообще не слышал.

А для индексаций запрета/разрешения есть: sitemap, robots.txt, метатеги

 

[inzhener67 0]

7 минут назад, vitponom сказал:

w3schools - почитайте для начала.

тег <noindex></noindex> - когда-то в древности был, но этот тег не является официальным тегом разметки страницы посредством html

тега "nofollow" - вообще не слышал.

А для индексаций запрета/разрешения есть: sitemap, robots.txt, метатеги

 

1) понимаете, я не СЕО-шник. Для меня сделали сайт, который уже 3 года не индексируется полностью в Гугл (только на 10%). Для меня важно, чтобы индексация происходила нормально. У меня есть СЕО-шники, с которыми я работаю, и я пытаюсь понять, кто из них неправ. Если я скажу одному из них "прочитай w3schools ", он мне скажет "раз ты такой умный, то сам и читай, и оптимизируй" :-)

Мне нужно понять, кто из СЕО-шников неправ. Тот, который РАЗРАБОТЧИК сайта, или тот, который говорит, что NOINDEX нужно убрать. :-)

2) не "nofollow" , а "follow" 

Буду благодарен за помощь/совет!

[terentev429 56]

1 минуту назад, inzhener67 сказал:

1) понимаете, я не СЕО-шник. Для меня сделали сайт, который уже 3 года не индексируется полностью в Гугл (только на 10%). Для меня важно, чтобы индексация происходила нормально. У меня есть СЕО-шники, с которыми я работаю, и я пытаюсь понять, кто из них неправ. Если я скажу одному из них "прочитай w3schools ", он мне скажет "раз ты такой умный, то сам и читай, и оптимизируй" :-)

Мне нужно понять, кто из СЕО-шников неправ. Тот, который РАЗРАБОТЧИК сайта, или тот, который говорит, что NOINDEX нужно убрать. :-)

2) не "nofollow" , а "follow" 

Буду благодарен за помощь/совет!

Надо было вам на вордпрессе сайт делать и проблем бы не было, а так думаю сайт нужно специалисту смотреть и исправлять ошибки.

[vitponom 57]

1) Понимаю, я тоже программист, (SEO просто надоело своим названием и бессмысленностью, перешел в специальность)

Если у Вас есть сеошники и сайт не индексируется, процентов на 50, стоит подумать в направлении - нужны ли они вообще.

Для индексирования страниц: добавить метатег в head необходимых страниц: <meta name="robots" content="index" />

Помимо этого добавить страницы в sitemap

помимо этого проверить robots.txt не присутствуют ли там правила - запрещающие индексацию страниц. 

[petroff 648]

Ваш разработчик все правильно говорит. Страницы пагинации должны быть закрыты тегом noindex, follow/ Этот тег запрещает индексировать страницу, на которой установлен, но не запрещает ходить по ссылкам на этой странице

[inzhener67 0]

24 минуты назад, terentev429 сказал:

Надо было вам на вордпрессе сайт делать и проблем бы не было, а так думаю сайт нужно специалисту смотреть и исправлять ошибки.

а разве в Вордпрессе можно сделать нормальный магазин с 1 млн товаров?

[terentev429 56]

Только что, inzhener67 сказал:

а разве в Вордпрессе можно сделать нормальный магазин с 1 млн товаров?

Думаю да!

[inzhener67 0]

4 минуты назад, terentev429 сказал:

Думаю да!

а почему на Вордпрессе не было бы проблем таких?

[inzhener67 0]

25 минут назад, petroff сказал:

Ваш разработчик все правильно говорит. Страницы пагинации должны быть закрыты тегом noindex, follow/ Этот тег запрещает индексировать страницу, на которой установлен, но не запрещает ходить по ссылкам на этой странице

но тогда возникает вопрос, почему робот не ходит по ссылкам? :-)

[terentev429 56]

Только что, inzhener67 сказал:

а почему на Вордпрессе не было бы проблем таких?

У меня конечно не интернет магазин, но индексируется нормально и в гугле и яндексе, все страницы

[inzhener67 0]

4 минуты назад, terentev429 сказал:

У меня конечно не интернет магазин, но индексируется нормально и в гугле и яндексе, все страницы

возможно, у вас каждая страница даже визуально выглядит уникально, на ней присутствует совершенно разный уникальный текст и т.д. В моем же случае 1 млн уникальных страниц сделать качественно вручную невозможно. Я просто заливаю сток-лист. Названия соседних в списке позиций - похожие, картинка - вообще одна и та же, описание - тоже очень похожее. Отличие только в названии позиций и их параметров. Если я такое же содержимое выложу на ВОрдпресс, не получится ли то же самое? :-)

[inzhener67 0]

32 минуты назад, petroff сказал:

Ваш разработчик все правильно говорит. Страницы пагинации должны быть закрыты тегом noindex, follow/ Этот тег запрещает индексировать страницу, на которой установлен, но не запрещает ходить по ссылкам на этой странице

Почему не происходит индексация страниц с товарами, как вы думаете?

Буду благодарен за совет!

[petroff 648]

8 минут назад, inzhener67 сказал:

но тогда возникает вопрос, почему робот не ходит по ссылкам? :-)

Это вам сам робот сказал? Посмотреть, какие страницы посещает тот или иной бот можно по логам доступа.

Если страниц нет в индексе, это не значит, что боты не ходят по ссылкам. Причину скорее всего надо искать в другом месте. Дубли, кстати, как вариант всех проблем. Еще может быть 100500 причин, в т.ч. экзотические. Надо смотреть сайт

[vitponom 57]

7 минут назад, petroff сказал:

Это вам сам робот сказал? Посмотреть, какие страницы посещает тот или иной бот можно по логам доступа.

Если страниц нет в индексе, это не значит, что боты не ходят по ссылкам. Причину скорее всего надо искать в другом месте. Дубли, кстати, как вариант всех проблем. Еще может быть 100500 причин, в т.ч. экзотические. Надо смотреть сайт

нее, просто надо сайт на вродпресе 

43 минуты назад, terentev429 сказал:

Надо было вам на вордпрессе сайт делать и проблем бы не было

А почему на "вордпрессе", а не допустим на DotNetNuke (DNN)?

[vituson 675]

Вордпресс не потянет миллион страниц. А если их еще все кешировать, то нужно будет около 20Гб места на хостинге.

[Turin 83]

На моем сайте порядка 120 000 страниц (ДО), СЕО настроено не скажу что идеально, но нормально, по многим ключам я нахожусь в ТОП-3 в своем регионе.  В индексе у гугла 8 500, в индексе у яндекса 23 000 страниц. Спросите почему?

Поисковики уже давно не мусорка и не архив, что бы хранить в себе сотни миллиардов страниц всевозможных сайтов - полезных и бестолковых. И если поисковики, в данном случае гугл, не вносит в индекс все страницы сайта, то лишь по той причине, что он посчитал эти страницы будут не интересны пользователям - дубли, мало полезной информации, пиженый контент, нулевая посещаемость этих страниц и т.д. и т.п. Как писали выше причин может быть 100500, вплоть до самых экзотических.

18 часов назад, inzhener67 сказал:

понимаете, я не СЕО-шник. Для меня сделали сайт, который уже 3 года не индексируется полностью в Гугл (только на 10%). Для меня важно, чтобы индексация происходила нормально. У меня есть СЕО-шники, с которыми я работаю, и я пытаюсь понять, кто из них неправ. Если я скажу одному из них "прочитай w3schools ", он мне скажет "раз ты такой умный, то сам и читай, и оптимизируй" :-)

А вот это самая большая ошибка владельцев сайта! За три года можно было не просто самостоятельно разобраться, но и стать специалистом. А не хотите сами изучать предмет, так и будете прыгать годами по форумам в поисках истины и платить деньги.

А дубли, дубли это зло! Было у меня порядка 80 000 дублей и сайт сидел глубоко-глубоко. За короткое время самостоятельно разобрался в причине появления, и поставил задачу программистам, что бы устранили. Через месяц сайт плавно начал подниматься в поиске.

150к товаров для регионального ИМ на мой взгляд это многовато, что продаете? Если однотипные товары то может есть смысл сократить их количество, но при этом наполнить целевую страницу более полезным содержанием?

site.com/siniy-chainik

site.com/crasnyi-chainik

site.com/chernyi-chainik

Вот вам и дубли, да и пользователь не станет такие страницы посещать.

Сайт покажите, если хотите более развернутые ответы получить, а то гадание какое то получается.

[inzhener67 0]

4 часа назад, Turin сказал:

На моем сайте порядка 120 000 страниц (ДО), СЕО настроено не скажу что идеально, но нормально, по многим ключам я нахожусь в ТОП-3 в своем регионе.  В индексе у гугла 8 500, в индексе у яндекса 23 000 страниц. Спросите почему?

Поисковики уже давно не мусорка и не архив, что бы хранить в себе сотни миллиардов страниц всевозможных сайтов - полезных и бестолковых. И если поисковики, в данном случае гугл, не вносит в индекс все страницы сайта, то лишь по той причине, что он посчитал эти страницы будут не интересны пользователям - дубли, мало полезной информации, пиженый контекст, нулевая посещаемость этих страниц и т.д. и т.п. Как писали выше причин может быть 100500, вплоть до самых экзотических.

А вот это самая большая ошибка владельцев сайта! За три года можно было не просто самостоятельно разобраться, но и стать специалистом. А не хотите сами изучать предмет, так и будете прыгать годами по форумам в поисках истины и платить деньги.

А дубли, дубли это зло! Было у меня порядка 80 000 дублей и сайт сидел глубоко-глубоко. За короткое время самостоятельно разобрался в причине появления, и поставил задачу программистам, что бы устранили. Через месяц сайт плавно начал подниматься в поиске.

150к товаров для регионального ИМ на мой взгляд это многовато, что продаете? Если однотипные товары то может есть смысл сократить их количество, но при этом наполнить целевую страницу более полезным содержанием?

site.com/siniy-chainik

site.com/crasnyi-chainik

site.com/chernyi-chainik

Вот вам и дубли, да и пользователь не станет такие страницы посещать.

Сайт покажите, если хотите более развернутые ответы получить, а то гадание какое то получается.

Спасибо за развернутый ответ!

Вот сайт (и конкретно тот раздел, который особенно упорно не индексируется уже пару лет):

http://v-ua.com.ua/mikroshemy/pamyat/

[Turin 83]

49 минут назад, inzhener67 сказал:

Вот сайт (и конкретно тот раздел, который особенно упорно не индексируется уже пару лет):

Ну в принципе ожидаемо.

Текст макросами генерируете - можно быстро купить 101927???. Какова вероятность вхождения прямого ключа на такой текст? Нулевая! Я бы сказал даже отрицательная. Плюс грамматика - Внтернет магазин. Ну это первое что вырви глаз.

А по дублям, от куда они берутся? С фильтра? У вас их слишком много. Нажимаешь на артикул - открывается страница товара, тоже самое если под фото нажать "подробнее". Не от сюда ли дубли идут?

 

[Turin 83]

Вот к примеру эта микросхема http://v-ua.com.ua/mikroshemy/pamyat/23a1024-ep.html отличается от этой http://v-ua.com.ua/mikroshemy/pamyat/23a1024-ip.html только рабочей температурой и частотой памяти.

18 часов назад, inzhener67 сказал:

В моем же случае 1 млн уникальных страниц сделать качественно вручную невозможно.

Не проще ли было сделать таким образом - карточка товара, с подробным описанием и диапазонами. Но когда клиент выбирает товар, он галочками отмечает нужные ему характеристики и потом жмет добавить в корзину? Таким образом у вас уйдут сотни ненужных страниц с сайта, а оставшиеся можно наполнить полезным контентом с ключами. Да и пользователям удобнее каталог будет просматривать.

[Turin 83]

А еще я бы дизайн сменил, полностью. Говорю это как покупатель, как пользователь, как клиент. Тяжело очень черно-белый сайт с жирными шрифтами, с полупустыми, неоткалиброванными страницами заходит.

Это чисто мое мнение, подождите, что скажут наши гуру касаемо основной проблемы.

[inzhener67 0]

7 часов назад, Turin сказал:

Вот к примеру эта микросхема http://v-ua.com.ua/mikroshemy/pamyat/23a1024-ep.html отличается от этой http://v-ua.com.ua/mikroshemy/pamyat/23a1024-ip.html только рабочей температурой и частотой памяти.

Не проще ли было сделать таким образом - карточка товара, с подробным описанием и диапазонами. Но когда клиент выбирает товар, он галочками отмечает нужные ему характеристики и потом жмет добавить в корзину? Таким образом у вас уйдут сотни ненужных страниц с сайта, а оставшиеся можно наполнить полезным контентом с ключами. Да и пользователям удобнее каталог будет просматривать.

"карточка товара, с подробным описанием и диапазонами" - если я правильно понимаю, это подразумевает ручную работу на этой самой карточкой товара? если да, то я просто физически не смогу создать сотни тысяч карточек товара, наполненных "полезным контентом"... вот в чем проблема... или это можно как-то автоматизировать - выгрузить из того же сток-листа?

[inzhener67 0]

В 21.05.2020 в 4:48 PM, vitponom сказал:

"SEO просто надоело ... бессмысленностью"

что вы имеете в виду? ))

[inzhener67 0]

8 часов назад, Turin сказал:

Текст макросами генерируете

 

Вы имеете в виду, что текст одинаковых для всех товаров?

Так может лучше тогда вообще без текста обойтись? 

Может лучше тогда просто оставить страницу без описания к товару вообще, только с уникальным названием самого товара? (пусть даже оно отличается одной буквой, но все-таки оно - уникальное)

[Turin 83]

В 22.05.2020 в 9:36 PM, inzhener67 сказал:

если я правильно понимаю

Вы совсем не правильно меня понимаете. У вас на сайте сотни однотипных товаров, которые отличаются лишь характеристиками, как я и писал вышел:

В 22.05.2020 в 8:52 AM, Turin сказал:

site.com/siniy-chainik

site.com/crasnyi-chainik

site.com/chernyi-chainik

Не проще ли сделать одну страницу, где можно выложить полезный текст, указать возможные варианты и комплектации? В вашем случае это всего лишь диапазоны некоторых характеристик. Далее, добавить функционал, который позволит клиенту при выборе какой нибудь микросхемы выбрать нужные ему характеристики и затем поместить товар в корзину.

В таком случае у вас исчезнут тысячи ненужных страниц с сайта, оставшиеся десятки страниц вы наполните полезным контентом, который будет работать.