À propos de cet événement
Ce webinaire examine si les lois d'échelle neuronales qui sous-tendent les progrès des modèles de langage à grande échelle s'appliquent à la tarification actuarielle. À partir d'un ensemble de données de 4.5 millions d'enregistrements d'assurance automobile, nous démontrons que des améliorations de performance de type loi de puissance existent bel et bien pour les données tabulaires, bien qu'elles soient fortement dépendantes de l'architecture du modèle.
Les intervenants présenteront des données empiriques démontrant que, si les Transformers standards présentent une faible scalabilité des paramètres, les architectures « TabM » et les Transformers enrichis d'apprentissage auto-supervisé obtiennent des résultats supérieurs sur de grands ensembles de données. La présentation abordera l'identification des différents régimes de données — des petits ensembles de données efficaces pour les modèles linéaires généralisés (GLM) aux grands ensembles de données dominés par l'apprentissage profond — et introduira de nouvelles améliorations architecturales telles que le pooling multi-CLS et TokenMoE.
