Гуппи России :: Форумы :: Вопросы по функционированию сайта и форума. :: Сайт
 
<< Предыдущая тема | Следующая тема >>
работа сайта
Переход на страницу  1 2 3 ... 8 [9] 10 11
Модераторы: Георгий, сторожев, GAlex, Leshij
Автор Добавил
сторожев
22.02.2009, 17:55


ID пользователя #308
Зарегистрирован: 17.04.2007, 00:00
Откуда: Москва
Сообщений: 11560
Ни хрена не понял-по русски можно разъяснить.
Наверх
Константин
22.02.2009, 20:14
Гость
Если проще , то как я понял - нетовские поисковые машины скачивают сайт из-за этого возникает перегрузка хостера, который сразу блокирует доступ, для снятия перегрузки.
Наверх
сторожев
22.02.2009, 21:41


ID пользователя #308
Зарегистрирован: 17.04.2007, 00:00
Откуда: Москва
Сообщений: 11560
А что другие сайты эти машины мимо проходят-там то нет такого
Наверх
Юрий_Духанов
22.02.2009, 22:21
Гость
Нет и на других роботы виснут. На Тропике я такое замечал.
Позавчера например когда наш сайт завис, я связался с техгруппой. Они мне передали , что висит наш форум и штудируют его 2 "бота". Увеличили нагрузку на сервер вместо 7 % поставили нам 20 % сайт открылся. Но это превышение трафика. И что бы сайт не заблокировали через час опустились на свои 7%. Тем самым дали ботам время проштудировать что они там хотели . Интересно с одним ботом выделенная нагрузка на сервер справляется, а с двумя нет. Конечно хочется отрубить всех ботов, но нельзя. По этому в апреле придется переходить на новый тариф.
Наверх
сторожев
22.02.2009, 22:31


ID пользователя #308
Зарегистрирован: 17.04.2007, 00:00
Откуда: Москва
Сообщений: 11560
Короче это связано с суммой оплаты
Наверх
Константин
23.02.2009, 12:10
Гость
Да тарифный план и так не маленький. Но и не супер пупер пока.
А с финансированием это конечно связано - больше денег , больше возможностей.
Но и опять таки вопрос : допустим возьмём больший тарифный план , а вместо двух ботов одновременно станут заходить четыре и будет такая же хь.....,
У меня вопрос ботов отсеивать как то можно например Если один ползает другой не может войти пока первый не закончит скачивать.
А вообще наверное выгодно создавать подобные программы, чтоб подвешивали сайты возможных конкурентов вроде и не докопаешься и все по закону, наверное надо блокировать адреса с которых осуществляются такие ярые нагрузки на сайт.
Например скачивает такойто объём , а если начинает превышать его автоматически блокируют.

[ Редактирование 23.02.2009, 12:15 ]
Наверх
Silverhunt
23.02.2009, 14:02
Гость
написал(а) ...

Но и опять таки вопрос : допустим возьмём больший тарифный план , а вместо двух ботов одновременно станут заходить четыре и будет такая же хь.....,

Такое случается довольно редко, в этом случае вы можете либо выставить более высокие лимиты на процессорную нагрузку с одного IP (на более дорогом тарифе разумеется), в таком случае отключать сервер будут только за такие вот совпадения, что будет происходить крайне редко, либо как я уже писал, програмно тормозить таких шустриков-роботов, либо "качков" - любителей скачать сайт целиком и быстро, собственно как раз "качки" с хорошим каналом связи и представляют особую опастность, так как способны неплохо нагрузить даже виртуальный сервер.

Так что ограничивать - либо с помощью хостера, либо програмно.
Наверх
Silverhunt
23.02.2009, 14:10
Гость
Под "програмно тормозить" я имею в виду отдавать запрошенные данные с паузами, таким образом и робот будет бегать по сайту и сайт не слишком нагружаться.

написал(а) ...

А вообще наверное выгодно создавать подобные программы, чтоб подвешивали сайты возможных конкурентов вроде и не докопаешься и все по закону, наверное надо блокировать адреса с которых осуществляются такие ярые нагрузки на сайт.


Есть такое дело, целый бизнес, только не дешёвый....
написал(а) ...

DoS-атака (от англ. Denial of Service, отказ в обслуживании) — и DDoS-атака (от англ. Distributed Denial of Service, распределённый отказ в обслуживании) — это разновидности атак на вычислительную систему. Цель этих атак — довести систему до отказа, то есть, создание таких условий, при которых легитимные (правомерные) пользователи системы не могут получить доступ к предоставляемым системой ресурсам, либо этот доступ затруднён.

DoS-атака может быть как самоцелью (например, сделать недоступным популярный сайт), так и одним из шагов к овладению системой (если во внештатной ситуации ПО выдаёт какую-либо критическую информацию — например, версию, часть программного кода и т. д.). В некоторых случаях к DoS атаке приводит легитимное действие, например, простановка ссылки на сайт (размещённый на не очень производительном сервере) на популярном интернет-ресурсе (слэшдот-эффект). Большой наплыв пользователей приводит к превышению допустимой нагрузки на сервер и отказу в обслуживании части из них.
Источник: http://ru.wikipedia.org/wiki/DoS-атака
Наверх
Константин
24.02.2009, 14:20
Гость
Юра спасибо за инфу.
Наверх
Юрий_Духанов
24.02.2009, 15:46
Гость
Думаю мы до таких атак еще не доросли.
Наверх
debilitas
24.02.2009, 16:48
Гость
Юрий_Духанов написал(а) ...
Думаю мы до таких атак еще не доросли.
Хоть одна здравая мысль! За последние дни.
Наверх
Юрий_Духанов
24.02.2009, 16:53
Гость
Вопрос другой. Из-за чего боты так грузят сайт? Может это быть из-за фоток на форуме и в галерее? Если из-за этого то деваться негуда и поднимать планку придется.
Наверх
Silverhunt
25.02.2009, 08:06
Гость
написал(а) ...

Юра спасибо за инфу

Пожалуйста.

написал(а) ...

Вопрос другой. Из-за чего боты так грузят сайт? Может это быть из-за фоток на форуме и в галерее? Если из-за этого то деваться негуда и поднимать планку придется.

Тут 2 момента. Основной момент - Яндекс не утруждает себя отладкой алгоритма роботов (впрочем он в этом не одинок), а посему если канал связи позволяет, то робот грузит его на полную катушку при обновлении своих индексов. Тут либо сервер мощьнее, либо канал уже, либо самим робота тормозить.

Есть и другой вариант, ущербный - запретить индексировать определённые страницы, но они не будут видны посетителям поисковика.

Ещё вариант - оптимизировать код движка. Тут судить трудно о его ресурсоёмкости, однако судя по относительным данным он кушает несколько больше ресурсов чем те же Слаед и IPB на моих проектах сравнимых по количеству страниц и контенту, вы писали про 7 с копейками процентов, у меня же не дотягивает и до 6 процентов... если нет прочих факторов и расчёт верен, то разница в 2 процента, а это ощутимо, хотя и Слаед и тем более IPB движки далеко не самые лёгкие...
Наверх
debilitas
26.02.2009, 02:26
Гость
Юрий_Духанов написал(а) ...
Из-за чего боты так грузят сайт?
Опять пальцем в небо
С чего вы взяли, что "боты так грузят сайт"?
На сервере несколько сотен доменов. Так с чего же вы взяли, что виноват ваш хилый сайт?
Это же форум, а не Internet Relay Chat. Думайте головой.
Наверх
Silverhunt
26.02.2009, 06:31
Гость
debilitas
У 1GB идёт учёт процессорной нагрузки с детализацией по IP, насколько я понял ограничение активировали имено на хостинге а не програмно в движке сайта, так что получается что грузят...

P.S. Впрочем одно другому не мешает...
Наверх
Переход на страницу  1 2 3 ... 8 [9] 10 11  

Перейти:     Наверх

Транслировать сообщения этой темы: rss 0.92 Транслировать сообщения этой темы: rss 2.0 Транслировать сообщения этой темы: RDF
Powered by e107 Forum System