An overview of ensemble methods for binary classifiers in multi-class problems: Experimental study on one-vs-one and one-vs-all schemes

فایل اصلی : 13 صفحه با فرمت pdf 

فایل ترجمه : 36 صفحه با فرمت ورد

An  overview  of  ensemble  methods  for  binary  classifiers  in  multi-class  problems:  Experimental  study  on  one-vs-one  and  one-vs-all  schemes

ABSTRACT

Classification  problems  involving  multiple  classes  can  be  addressed  in  different  ways.  One  of  the  most  popular  techniques  consists  in  dividing  the  original  data  set  into  two-class  subsets,  learning  a  different  binary  model  for  each  new  subset.  These  techniques  are  known  as  binarization  strategies.

In  this  work,  we  are  interested  in  ensemble  methods  by  binarization  techniques;  in  particular,  we  focus  on  the  well-known  one-vs-one  and  one-vs-all  decomposition  strategies,  paying  special  attention  to  the  final  step  of  the  ensembles,  the  combination  of  the  outputs  of  the  binary  classifiers.  Our  aim  is  to  develop  an  empirical  analysis  of  different  aggregations  to  combine  these  outputs.  To  do  so,  we  develop  a  double  study:  first,  we  use  different  base  classifiers  in  order  to  observe  the  suitability  and  potential  of  each  combination  within  each  classifier.  Then,  we  compare  the  performance  of  these  ensemble  techniques  with  the  classifiers’  themselves.  Hence,  we  also  analyse  the  improvement  with  respect  to  the  classifiers  that  handle  multiple  classes  inherently.

We  carry  out  the  experimental  study  with  several  well-known  algorithms  of  the  literature  such  as  Support  Vector  Machines,  Decision  Trees,  Instance  Based  Learning  or  Rule  Based  Systems.  We  will  show,  supported  by  several  statistical  analyses,  the  goodness  of  the  binarization  techniques  with  respect  to  the  base  classifiers  and  finally  we  will  point  out  the  most  robust  techniques  within  this  framework

بررسی کلی روش های جمعی برای طبقه بندهای باینری در مسائل چند طبقه ای: بررسی تجربی روش های یکی در مقابل دیگری و یکی در مقابل همه

چکیده فارسی

مسائل طبقه بندی از جمله طبقه های چندگانه را می توان به روش های مختلف مورد بررسی قرار داد. یکی از رایج ترین روش ها، روش تقسیم مجموعه داده های اصلی به زیر مجموعه های دو طبقه ای، یادگیری یک مدل باینری متفاوت برای هر زیر مجموعه جدید است. این روش ها به عنوان روش های باینری کردن شناخته می شوند. در این مقاله، ما روش های جمعی با روش های باینری سازی را مدنظر قرار می دهیم. به ویژه، ما بر روش های رایج تفکیک (جداسازی) یعنی یکی در مقابل دیگری و یکی در مقابل همه تمرکز داریم که توجه ویژه ای به مرحله نهایی تجمع (شورا) ها، ترکیب خروجی های طبقه بند باینری دارد. هدف ما، ایجاد یک تجزیه و تحلیل تجربی تجمع  های مختلف برای ترکیب کردن این خروجی ها است. برای انجام این کار، ما دو مطالعه را صورت می دهیم: ابتدا، ما از طبقه بندهای پایه متفاوت به منظور مشاهده شایستگی و پتانسیل هر ترکیب در هر طبقه بند استفاده می کنیم. سپس، ما عملکرد این روش های جمعی با طبقه بندهای خودشان مقایسه می کنیم. از این رو، ما نیز بهبود با توجه به طبقه بندهایی که طبقه های چندگانه را به صورت ذاتی کنترل می کنند، تجزیه و تحلیل می کنیم. ما این بررسی تجربی را با چند الگوریتم مشهور در مقالات از قبیل ماشین های پشتیبان بردار، درختان تصمیم، یادگیری مبتنی بر نمونه و یا سیستم های مبتنی بر قانون انجام می دهیم. به وسیله چندین تجزیه و تحلیل آماری، مزیت روش های باینری سازی با توجه به طبقه بندهای پایه را نشان خواهیم داد و در نهایت مستحکم ترین روشها درون این مقاله را مشخص خواهیم کرد.