Refer.Ru / Новости сайта

01.03.2005 — Автоматическое удаление «битых» ссылок

Система работает автоматически. Робот каталога каждые сутки сканирует зарегистрированные в каталоге ресурсы, на предмет выяснения их работоспособности. В результате работы робота, каждая позиция каталога помечается так называемым fault-статусом — кол-во подряд неудачных попыток достучаться до данного URL.

При этом, неудачными считаются попытки с возвратом 4хх или 5хх HTTP-статуса, т.е. если URL пять дней подряд возвращает ошибку, то его fault-статус равен 5. После этого зарегистрированный ресурс удаляется из базы данных каталога.

Предыдущая новость | Следующая новость