Главная

Новости

Статьи и обзоры
  Горожанин
  Обнинск в Internet
  Web Design
  Hardware
  Software
  Безопасность
  Серфинг
  Игродром
  Relax
  Технологии
  Web-обзор
  Интернет-ликбез
  Опросник
  УП-Технологии
  ART.net

Ссылки

Архив

О нас

Контакты

Форумы

POPULAR.RU

АНТИСПАМЕРСКИЙ ФИЛЬТР BayesIt!

© Алексей Виноградов

Эта статья описывает установку, настройку и работу BayeaIt! - антиспамерского фильтра, поставляемого в дистрибутиве почтовой программы The Bat!. Данный фильтр является подключаемым модулем (плагином) к The Bat! и обеспечивает эффективную фильтрацию нежелательной корреспонденции (спама).

Основным методом работы данного фильтра является статистический метод Байеса. Помимо автоматической статистической фильтрации в фильтре также реализована фильтрация по "черным" и "белым" спискам сигнальных строк, задаваемых пользователем, а также поддерживается интеграция с встроенными в The Bat! фильтрами "выборочного скачивания". Последнее позволяет достаточно эффективно удалять нежелательную корреспонденцию прямо на сервере, не загружая ее в компьютер пользователя.

Основные особенности модуля

Статистический метод Байеса с автообновляемым словарем обеспечивает максимально эффективную фильтрацию спама при минимальном участии с вашей стороны.
Поведение фильтра целиком зависит от вашего желания и не зависит ни от каких внешних данных или баз, кроме ваших собственных писем. В этом смысле алгоритм Байеса чем-то напоминает шифрование с "открытым ключом" - несмотря на один и тот же модуль, фильтрация у разных пользователей будет идти совершенно по-разному, с учетом индивидуальных настроек.
Метод Байеса реализует возможность полностью автоматического обучения, которое при необходимости можно корректировать "одним щелчком", при этом от вас вовсе не требуется прочитывать полученный спам - достаточно просто понять, что это спам и уведомить об этом фильтр.
Уникальная возможность экспорта списка для "выборочного скачивания" позволяет настроить The Bat! на автоматическую обработку нежелательной почты прямо на сервере, не загружая ее в ваш компьютер. Независимость от протокола доставки писем позволяет фильтру работать там, где другие антиспамовые решения бессильны. "Черные" и "белые" списки, а также "игнор"-список позволяют легко скорректировать поведение фильтра желаемым образом, а также порадуют тех, кто не доверяет автоматизированным решениям и желает все "потрогать" собственными руками. К тому же списки позволяют использовать не только "жесткие" строки, но и регулярные выражения.
В программе реализован оптимизированный по скорости и эффективности алгоритм обработки писем. В отличие от аналогичных приложений, в которых метод Байеса реализован на высокоуровневых "скриптовых" языках (Lisp, Python, Perl), либо с использованием относительно медленных библиотек общего применения (PCRE), "ядро" BayesIt! написано целиком на низком уровне с учетом специфики выполняемой задачи фильтрации, в результате чего удалось добиться высокой скорости работы и низких требований к ресурсам компьютера.
Реализация собственных оригинальных расширений метода Байеса за счет собственных иссследований автора и пожеланий пользователей позволяет учитывать при работе не только непосредственное содержание писем, но и разнообразную мета-информацию, такую как наличие вложений и их размер, время доставки, "мусор" в html-письмах и пр. Это позволяет сделать алгоритм еще эффективнее.
Встроенный визуальный отладчик регулярных выражений, использующий "движок" регулярных выражений прямо из The Bat!. Позволяет легко и быстро создавать разнообразные выражения, которые могут быть использованы как в самом фильтре - для создания правил "списочной" фильтрации, так и непосредственно в The Bat! , - для создания и отладки всевозможных шаблонов.

Продолжение следует.