מפגש רביעי- 18.1.26

אירחנו את אלן ארזי (שעושה את ה-Phd שלו בטכניון) שסיפר על TabPFN.

TabPFN הוא מודל ניבוי טאבולרי שמבוסס על טרנספורמרים (מאמר עליו פורסם שנה שעברה ב-Nature). הוא מנצח את אלגוריתמי ה-gradient boosting הקיימים בדאטה סטים קטנים.

מצורפת תמונה מתוצאות התחלתיות במחקר של אורטל של השוואה בין LGBM ל-TabPFN. שני המודלים אומנו על 8000 דגימות ונבחנו על 200 דגימות. בתמונות מופיע הדיוק של ה-2000 דגימות. ללא hyperparameters tuning. לי אכפת מניבוי הערכים הנמוכים, ובהקשר הזה התוצאות של TabPFN משמחות.