You are on page 1of 15

39   

Anti Spam – Best Practices
                         

Anti Spam Engine:

Time-Tested Scanning
An IceWarp White Paper

October 2008 www.icewarp.com

Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.

 

 

  The  year’s  peak was on March 27.     . This figure will increase steadily over the next  four years. due to spam.  Secure  Computing’s  July  2008  report  reveals  that  numbers  far  exceeded  global  expectations. totaling 83% in 2012.  Spam  rose  280%  from  July  2007  to  July  2008.  Sophos  finds  that  only  one  of  every  28  emails  received  by business is legitimate.  While different organizations render slightly different research results.  the  threat  to  the  business  community  will  only  rise.   According  to  Spamhaus.   Spam rose 280% from July  2007 to July 2008.  Nucleus Research estimates that at least 90% of all email  reaching corporate servers is spam.  80%  of  all  internet  spam  comes  from  just  100  spam operations worldwide.  for  they  are  hard to enforce and many governments choose to turn a blind eye.5  billion  in  technical  expenses  and  decreased productivity.  Radicati  Research  Group  reports  that  spam  annually  costs  businesses  $20.40    Background    The  proliferation  of  spam  will  increase.5% by June 2008.     It  should  be  noted  that  spam  laws  are  often  ineffectual. it  is clear that businesses are hit by spam the hardest.       Spam Levels     As  new  spammers  enter  the  fray  and  as  all  spammers  refine  their  tactics.   Consider these additional statistics:     Sophos  reveals  that  the  percentage  of  spam  in  the  average business server reached 96.   Radicati Group also found that by the close of 2008. with 185 billion spam messages sent that day.  Nucleus  Research  calculates  that  companies  annually  lose $1. 78% of worldwide  email traffic will be spam.  Spam  is  more  than  a  nuisance  because  its  management  can  cut  sharply  into  a  company’s bottom line.    ‐‐ Secure Computing         Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved. and because it can carry malware.  That  is  a  fact.934 per employee.

  minor  adjustments  on  the  individual  server  can  provide  considerable  more  protection.            Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.   .  intelligent  engines  that  teach  the  system  about  a  server’s  email  patterns. In addition. thereby ensuring that  incoming  email  from  those  addresses  are  approved  for  the  inbox.  it  is  important  to  identify  the  different  layers  of  IceWarp’s Anti Spam Engine:      RBLs  (Real‐time  Black‐hole  Lists)  –  RBLs  are  lists  that  check  each email against known spam servers.  The  system  can  be  set  to  automatically  approve addresses that the user sends to.       Anti Spam Engine Overview    IceWarp’s  built‐in  Anti  Spam  Engine  is  a  powerful  business  tool  that  can  be  used  to  combat  the  ever‐increasing  amount  of  internet  spam.  then  by  making  necessary  changes  to  the  Anti  Spam module. aggressive filtration.    Black  Lists  –  Black  Lists  give  end  users  the  ability  to  reject  email  from disapproved addresses.  The  administrator  can  increase  the  accuracy  of  spam  identification  first  by  identifying  the  nature  of  incoming  messaging.41    What Can Be Done About Spam?     Since  there  is  no  feasible  way  to  eliminate  spam.  Bayesian  Learning  Engine  –  Bayesian  Learning  Engines  are  dynamic.    For  proper  filtration. messages do not fill up the inbox.   White  Lists  –  White  Lists  give  end  users  control  over  the  messages  they  receive.  While  this  tool’s  default  settings  already  make  for  a  powerful  antispam  solution.   Quarantine  and  Spam  Folders  with  Email  Reporting  –  Quarantine  and  spam  folders  gives  users  the  ability  to  monitor  incoming  messages  without  examining  each  item  without  filling  up the inbox. and will not be flagged as spam or be quarantined.  the  best  defense  rests  with sophisticated.  Antispam  protocols  can  be  fine‐tuned  to  recognize  email  patterns  that  have  been  reviewed  by  trusted  members of the mail server. This  method  uses  whitelisting  and  gives  the  end  user  significant  control over their inbox.

  communication  speed  will  increase  the  longer  Greylisting  remains  active.             Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.42     Grey Lists – When a receiving server returns a message as a soft  failure.  DNS resolution. it will be marked as spam.   .  no  single  solution  is  feasible. narrowly defined spam solution for all  users.  if  RFC‐compliant.  thus  cutting  down  on  the  amount  of  spam. Since  there  are  many  different  kinds  of  email  and  the  nature  of  incoming  messages  can  change  over  time.  most  spammers  configure  their  servers  to  not  return  such  messages.  charset‐blocking.    While  this  can  initially  slow  communication.  Therefore.  Miscellaneous  Rules  –  Using  additional  Rules.     SpamAssassin  –  IceWarp  SpamAssassin  is  the  heart  of  IceWarp’s  Anti  Spam  Engine.  However. the power of the IceWarp Anti Spam is its flexibility.  the  sending  server.  highly  configurable  and  can be tailored to fit the needs of a business. Rather.  Some  estimates  indicate  that  spam  can  be  reduced  70  percent  using this method.     IceWarp  SpamAssassin  is  open  source.  the  system  administrator  will  need  to  monitor  the  system  and make adjustments along the way.  These  include.  then  accepting  the  resent  message.  a  robust  system  that  determines  the  spam  value  of  all  incoming  messages  by  comparing  it  with  a  series  of  content‐rules. and by flagging particular email formats.  users  can  fine‐ tune  spam  identification  protocols  in  IceWarp’s  Anti  Spam  Engine.  Once  the  score  reaches  the  threshold  that  the  email administrator establishes.      IceWarp does not provide a rigid.  SpamAssassin’s  profiles  remain  current  by  updating  regularly  with  the  IceWarp's  Anti  Spam  Server.  but  are  not  limited  to.  A  given  email’s  spam  score  will  increase  with  every  violation  that  is  identified.    Please  note  that  they  do  not  require licensing of Anti Spam Engine.  Greylisting  takes  advantage  of  this  by  rejecting  every  initial  connection  to  the  server  for  a  predetermined  number  of  minutes.  will  always  resend  the  message.     IceWarp recommends that the following settings be used in conjunction  with  the  IceWarp  Anti  Spam  Engine.

     Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.*).0. or  if  all  client  machines  are  within  a  local  IP  range.1  to  send  emails  through  the  server.  and  will  show  only  in  those  logs.  These  settings  permit  the  client  software  (such  as  Outlook  or  Thunderbird)  With  these  settings  in  place  the  client  software (such as Outlook or Thunderbird) would have to use the option  “my  server  requires  authentication”  in  order  to  be  able  to  send  email  through  the  Icewarp  Email  Server.168.   There  are  times  when  it  is  necessary  to  add  an  IP  address  to  the  Trusted  IPs  and  Hosts  (When  you  have  a  webpage  that you wish  to  be able  to send email through your server.  and  with  the  help  of  the  SMTP  log  files.43    Locking Down the Server  – Located at [Mail service] [Security] [General tab]                                          Figure 1   Figure  1  illustrates  a  closed  relay  in  the  server.      These  settings  prevent  an  unauthorized  account  from  sending  email  through  a  server.0.  such  as  192.     .  make  it  possible  for  an  administrator  to  track  down  the  spammer  that  is  using  a  compromised  account  on  the  server.  authentication  is  done  through  POP/IMAP  connections.  A  closed  relay  rejects  local  unauthorized  domains  authorization  and  permits  only  the  localhost  of  IP  of  127.*.  This  setting  will  authenticate  the  IP  where  the  POP/IMAP  connection account logged into the system for X number of minutes.  but  it  is  recommended  to  do  this  with  caution  if  using  any  public  IP  addresses.  not  the  SMTP  log.     When  using  the  option  for  POP  before  SMTP.

     To  make  certain  that  someone  cannot  breach  the  system  and  send  messages  to  server  accounts  via  the  server  domain  name.  and  will  eliminate uncertainty in the end user.”  This  option  prohibits  spammers  from  spoofing  legitimate  accounts  such  as  PostMaster  and  Admin.  Notice  that  the  only  two  DNSBL  lists  are  used.       DNS‐based Blocking  – Located at [Mail service] [Security] [DNS tab]    A  list  of  RBLs  that  can  be  used  to  check  incoming  email  is  available  in  the  Anti  Spam  Engine  settings.     By  closing  and  blocking  the  sessions  at  the  IP  level.  However.  it  does  need  to  be  turned  on  if  the  server  has  been  compromised  by  a  spammer  sending  out  through  the  server.44    While  it  is  acceptable  to  use  this  setting.    Administrators  who  experience  a  system  compromise  should  go  to  http://esupport.icewarp.  an  administrator  can  significantly  lower  the  amount  of  traffic  to  the  server  because  the  CPU  will  not  have  to  process  every  email  through  the  Anti  Spam  Engine.  Thus.    IceWarp  highly  recommends  Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.     .  It  helps  with  the  marking  and  distribution  of  spam.”  and  select  the  article.  a  system  administrator  can  also  use  these  DNSBL  lists  in  the  Mail  Security settings in conjunction with  the  Intrusion  Prevention  settings  in  order  to  close  the  settings  and  reject  the  connection  from  known  spammers.  “Reject  if  originators  domain  is  local  and  not  authorized.  administrators  should  select  the  option.  search  for  “spammer  relaying.”    They  should  then  follow  the  steps  provided  in  order  to  determine  how  the system was compromised.  the  impact  on  the  system is lessened.com.   Figure 2    Figure  2  illustrates  the  suggested  default  email  server  settings.  “Possible  Spammer  Relaying  through  My Server.

    After  that  time.    By  default. Once there is a match.  a  sender  from  the  blocked  IP  can  attempt  to  send to the server again. it no longer needs to search for  others. and then hit F1 to pull up the Help file.  This  keeps  the  server  from  accepting  email  from  nonexistent  domains.  These  settings  are  used  because  they  address  activity generally used only by spammers.            Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.    Those  interested  in  learning  more  about  each  individual  setting  should  navigate  to  this  screen  via  the  IceWarp  Console. Figure 3  Figure  3  illustrates  a  solid  baseline  for  a  system’s  initial  setup.  where  the  system much check against every list. it will remain blocked for 30  minutes.  and  domains  that  do  not  have  proper  reverse  DNS  resolution  set  up.       Intrusion Prevention   – Located at [SMTP Service] [Security] [Intrusion Prevention Tab]      The IntPr settings block connections  to  the  server  according  to  different  levels  of  suspicious  activity.     This  ensures  that  IceWarp's  Email  Server  will  not  be  flooded  –  but  it  does  not  permanently  reject  a  communication  attempt.  a  common  technique  used  by  spammers.   Since  the  system  needs  to  check  these  lists  for  each  email.  their  IP  address  is  tagged  as  a  blocked  IP  in  the  IntPr  table.  more  than  two  DNSBLs  would  result  in  a  longer  connection time.  This  is  not  true  for  the  RBL  lists  in  SpamAssassin.  This  guarantees  that  the  email  coming  from  the  IP  associated  with  that  domain  and  is  not  being  spoofed.  in  the  event  that  the  sending  server  is  legitimate  but  merely  compromised  by a virus or isolated spammer.        Once  the  administrator  selects  the  Reject  options  based  on  the  rDNS.  email  coming  into  the  system  is  limited  to  actual  email  domains.45    that  no  more  than  be  used.        .  When  a  sender  trips  one  of  these  options. This  feature  leaves  the  door  open  for  future  correspondence  with  the  originating  server  once  the  problem  has been resolved.

            Figure 4    Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.  and  if  the  system  administrator  selects  the  option.  SMTP  EXPN  commands  can  give  attackers  the  ability  to  determine  which  accounts  exist  on  the  system.46        Caution:  one  of  these  settings  should  be  used  with  care.    EXPN  provides  additional  user  data.  This  would  give  them  the  means  by  which  to  execute  a  brute  force  attack  on  user  accounts.  and  be  prepared  to  change  or  remove  this  setting  in  the  event  that  it happens.”  Therefore.  “Deny  SMTP  EXPN  command.  the  security  setting. but they  each  serve  a  special  purpose.  which  should  be safeguarded from attackers.  including  identifying  information.     .       Advanced Security Settings  – Located at [Mail Service] [Security] [Advanced Tab]      Very  few  of  these  settings  will  be  used as a default installation.  while  it  is  a  suggested  setting.  “Block  IP  address  that  establishes  a  number  of  connections  in  1  minute.  Legitimate  email  might  be  blocked  from  clients  who  subscribe  to  the  same  mailing  list.  This  can  occur  when  there  are  multiple  list  subscribers.  As  illustrated  in  figure  4.”  should  be  selected.  the  email  server  postmaster  should  remain  aware  of  this  possibility.

  the  system  administrator  must  determine  if  local  accounts  should  be  subject  to  antispam  filtration.47    Recommended IceWarp Anti Spam Configuration    The  following  screenshots  and  details  will  help  administrators  set  up  the  IceWarp  Email  Anti  Spam  Engine  with  suggested  default  settings.  quarantine.  It  serves  as  a  baseline.           For  instance.  If  a  particular  setting  herein  is  shown  but  not  discussed.  but  consideration  must  be  given  to  the  nature  of  all  outbound  email  and  the  class of business deploying the server.  In  addition.    A  small  business  might  not  need  to  subject  local  accounts  to  quarantines.  The  discussion  will  include  the  reasoning  behind  the  settings  and  the  ways  that  an  administrator  can  determine  how  to  best  customize  those  settings.     Figure  5  illustrates  the  basic  configuration  of  IceWarp’s  Anti  Spam  Engine.  while  a  small  business  can  usually  forego  this  option.  white  lists  and  black  lists.  rejection and deletion thresholds.     The  [Anti‐Spam]  Action  settings  possess  the  controls  that  tell  the  server  how  to  differentiate  the  different  levels  of  spam  and  how  to  deal  with  them  according  to  their  final  SpamAssassin  score. Figure 5      .  A  system  administrator  will  need  to  determine  tagging.  the  default  setting  is  suggested.     Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.  while  an  ISP  might  seriously  consider  this  option  in  order  to  keep  its  members  safe  from  the  spamming  attempts  of  other  members  within  the same domain.  it  is  generally  advisable  for  an  ISP  to  scan  all  outbound  email.

  at  times. giving users manual control.     .  a  system  administrator  must  select  the  appropriate  option  and  integrate  spam  folders  with  the  IMAP  folder.  to  create  and  email  daily  spam  reports.                          Figure 6      Note  that  figure  6  does  not  include  a  rejection  threshold.  in  addition.      In  order  to  use  the  spam  folder  (as  opposed  to  the  quarantine  folder).    Having  the  system  add  [Spam]  to  the  subject  line  is  an  alternate  option.  the  postmaster  may  simply  decide  to  use  the  different  levels  of  spam  organization  –  quarantine and spam.  The  spam  folder  can  remain  free  of  spam  overload  if  the server is set to delete spam messages that are 7 days old.  since   rejecting  spam  can.    These  reports  will  indicate  to  users  what  messages  were  placed  in  the  Quarantine  and  Spam folders.48          Figure  6  illustrates  a  low  quarantine  threshold  –  and  though  a  message  might  be  quarantined  at  a  low  threshold.  it  might  not  be  marked  as  spam  unless  it  achieves  a  higher  spam score.  Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.     The  system  administrator  can  also  use  the  Reports  tab.  and  choose  the  IMAP  folder  to  integrate  with  it.  result  in  having  a  server  blacklisted  as  a  spam  trap.  indicated  in  figure  6.

”  – SourceForge. collaborative.  which  can  bog  down  large  installation  servers. Through user contribution.net        In order for this to function properly. spam detection and filtering  network.  and not all of them will be used by all email servers.  Administrators  should  use  this  setting  and  RBL  lists  with  due consideration.  upon  receipt  of  a  message. Detection is done with statistical and randomized signatures  that efficiently spot mutating spam content. Razor2 establishes a  distributed and constantly updating catalogue of spam in  propagation that is consulted by email clients to filter out known  spam.  There  are  many  options.     Please  note  that  Razor2  technology  is  not  selected  in  figure  7.           Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.   . it can also slow down email  communication  and  cause  a  backup  of  connections.  A  system  administrator  may choose to exclude this option  since.  While  this  tool  is  highly  effective  in  identifying  spam.     Figure 7        Razor2 is a “distributed. User input is validated  through reputation assignments based on consensus on report and  revoke assertions which in turn is used for computing confidence  values associated with individual signatures. This functionality will not work if the port is not  open.49    SpamAssassin   – Located at [Anti‐spam] [SpamAssassin]    The  postmaster  will  be  able  to  dictate  what  parts  of  the  SpamAssassin  Engine  will  be  employed  via  the  main  screen. the system  administrator will need to open up access through port  2703.  Razor2  queries  the  sending  server  for  validation.

 the engine will send it either to Spam or Quarantine.     . whereas two were selected in figure 2.  the  installation  sets  it  up  so  that  blacklisting  rejects  email if the sender is blacklisted   The  other  option  is  for  the  administrator  to  have  the  black  list  item  add  a  defined  score  to  the  SpamAssassin  total.  This  measure  will  prevent  the  server  from  creating  a  redundant  check  and  allow  for  faster  filtration.       Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.  and  then  deal  with  the  email  based  on  the  global  spam  engine  settings.  Figure  9  illustrates  the  various  whitelisting  options.  Figure  8  illustrates  the  selection  of  only  one  RBL  list.  (I.50        As  previously  mentioned.   White Lists:    While  the  black  list  engine  is  on  by  default. This white paper  also stated that those using DNSBLs should  limit  the  number  of  RBL  and  DNSBL  checks  to  3.  RBL  lists  can  reduce  email  processing  and  filtration  speeds on busier systems.  and  that  the  same  RBLs  used  in  the  DNSBL  security  settings  not  be  used  in  SpamAssassin.     Black Lists:     IceWarp provides two methods of setting up black lists. or else  reject or delete it).  the  white  list  engine  needs  to  be  turned  on  manually. black lists and white lists in  IceWarp’s Anti Spam Engine give end users ultimate control of their  inboxes.       By  default.           Figure 8  Anti Spam Black List and White List     Offering flexibility in spam identification.e.

  While  none of these criteria.  the  Content  settings  reflect  common  methods  spammers  use  to  trick  antispam  engines  into  believing  spam  is  legitimate  email. the system can be set  to  automatically  whitelist  trusted  email  recipients  and  senders  in  groupware address books. will  cause a message  to be classified as spam.     . individually.  By choosing these items.51    For instance.  The  suggested  practice  on  this  is  to  use  the  default  settings  for  all  three  tabs. multiple violations will.        Figure 10 Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved. all  accounts sent internally within  the server would be trusted and  bypassed by the spam engine.       Shown  in  figure  10.”      These two settings are  recommended for individual  businesses and not by ISPs that  host email for a great many users.    Two  notable  settings  that  have  not  been  selected  in  figure  9  are  “whitelist  trusted  IPs  and  authenticated  sessions”  and  “Whitelist local domain senders.  only  changing  them  with caution.   Figure 9  Miscellaneous   – Located at [Anti‐spam] [Miscellaneous]    The  Miscellaneous  tab  in  figure  10  contains  settings  that  are  used  to  modify  the  SpamAssassin  score  after  initial  scanning.

  legitimate  email  includes  links  as  merely one element of many. See figure 12.  spam is often comprised of a graphic.          Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.  the  administrator  can  open  up  one  of  the  messages.      Charset    The  Charset  tab  gives  administrators  the  ability  to  exclude  certain  types  of  email.        Figure 11 Sender    The  optional  settings  available  on  the  Sender  tab  will  not  be  defaulted.     Phishers  create  email  content  that  is  comprised  entirely  of  a  link. with  no bona fide text.52    Violations  rarely  occur  in  legitimate  email.  if  the  originating  server  is  older  or  belongs  to  a  small  company.  Administrators  should  exercise  care  before  selecting  them  and  generally  only  if  the  item  is  the  cause  of  a  known  problem.  If  a  server  is  spammed  with  this  kind  of  email.  For instance.  and  place  that  charset  into  the  “Forbidden  charsets”  field  shown  in  figure  11.  Some  spam  contains  foreign  language.      Figure 12 The  3  settings  available  on  the  Sender  tab  will  only  block  emails  from  unapproved  clients.  locate  the  charset  line.  Customarily.  thus  blocking  additional  messages carrying the string.   .  such  as  Russian  or  Chinese.  However.  not  those  that  are  RFC‐ compliant.  as  99%  of  all  email  clients  properly  format  email  in  order  to  comply.  it  is  possible  for  legitimate  email to be filtered as spam.

”      Anti Spam Engine: Time-Tested Scanning © IceWarp 2008 All Rights Reserved.53    Note    This discussion continues in IceWarp’s white paper entitled. “Anti Spam LIVE Service: Zero‐Hour  Protection.     .