Prolongation du délai ! Appel d’offres 2026 : Évaluation des LLM pour une étude comparative et une réévaluation des tâches actuarielles en assurance IARD

• Développer un ensemble rigoureux de tâches de perception et de classification pertinentes sur le plan actuariel, ainsi que s'appuyer sur des ensembles de données de référence d'assurance ouverts existants.
• Exemple (y compris, mais sans s'y limiter) : triage/classification des réclamations, décisions de souscription, segmentation des polices et signalement des risques de fraude ou de litige.
• Idéalement, les compétences actuarielles générales sont décomposées en sous-tâches d'évaluation précises et bien définies. Par exemple, décomposer la « constitution des provisions » en reconnaissance des schémas d'évolution des sinistres ou en classification de la gravité des sinistres.

• Les propositions doivent trouver, rassembler ou simuler leurs propres ensembles de données.
• Toutes les données doivent être pleinement utilisables et publiables légalement dans le cadre de la suite de tests de référence CAS.
• Exemples de documents et sources de données potentielles :
  • Suite d'évaluation des assurances CUFE :
    • https://arxiv.org/pdf/2511.07794
    • https://github.com/CUFEInse/CUFEInse
  • INS-MMBench :
    • https://arxiv.org/pdf/2406.09105
    • https://github.com/FDU-INS/INS-MMBench
    • FDU-INS/INS-MMBench
  • Évaluation comparative des agents dans les environnements de souscription d'assurance :
    • https://arxiv.org/pdf/2602.00456

• Exemples d'initiatives d'analyse comparative sectorielle :
  • InsureBench :
    • https://www.insurebench.com/

• Fournissez toutes les définitions de tâches, les ensembles de données, les méthodologies de notation et les scripts d'évaluation.
• La notation doit reposer sur des mesures reproductibles et objectives (par exemple, la précision, F1, score Brier, perte logarithmique).

• Mettre en œuvre des protocoles d'évaluation standardisés pour les principaux modèles commerciaux actuels de Google, Anthropic et OpenAI.
• De même, évaluez au moins 3 des meilleurs modèles open-source.
• Le cadre d'évaluation doit permettre des tests reproductibles. À mesure que de nouveaux modèles de pointe sont publiés, le CAS doit pouvoir exécuter la suite de tests de référence existante sur ces modèles avec un minimum d'efforts d'ingénierie supplémentaires.

• Fournir une plateforme publique interactive et conviviale permettant de comparer les performances des modèles sur différentes tâches.
• Concevoir la plateforme comme un cadre extensible afin de pouvoir ajouter de nouveaux modèles et de nouvelles tâches de référence au fil du temps.
• Permettre aux actuaires et aux chercheurs de proposer des tâches d'évaluation et des ensembles de données supplémentaires.
• Autoriser la mise à jour dynamique des évaluations des modèles en fonction des nouvelles données soumises et des critères de performance définis.

• Un rapport écrit détaillé résumant la méthodologie, les comparaisons de performances des modèles et leurs limites.
• Après la livraison, le CAS sera propriétaire et responsable de la maintenance de la suite de tests de référence et de la plateforme de comparaison, y compris le retest des nouveaux modèles au fur et à mesure de leur publication, l'ajout de nouvelles tâches de test de référence au fil du temps et la maintenance de la plateforme.
• Les propositions doivent inclure une documentation suffisante pour CAS exploiter et maintenir le système de manière indépendante, sans nécessiter l'intervention continue du contractant. Cela comprendrait (sans toutefois s'y limiter) les instructions, le code et les fichiers de configuration.
• Des recommandations claires sur la maintenance, la gouvernance et la fréquence des mises à jour.

Afin de garantir l'ouverture et la reproductibilité,Tous les jeux de données, le code, les définitions de référence, les scripts de notation et la documentation doivent être publiés sur un dépôt GitHub CAS.

Le groupe de travail sur l'IA de l'Académie chinoise des sciences évaluera les propositions selon les critères suivants :

• Compréhension de l'actuariat perception et classification tâches
• Compétences techniques en IA et analyse comparative
• Faisabilité et clarté de l'approche
• Qualité de la conception de référence
• Force des qualifications de l'équipe
• Rentabilité
• Capacité à fournir des résultats reproductibles et transparents

Si aucune proposition ne satisfait aux exigences, le CAS peut refuser d'attribuer un contrat.

Le montant de la subvention se situera vraisemblablement entre 25 000 $ et 65 000 $, mais les demandes en dehors de cette fourchette pourront être examinées si elles reposent sur un mérite scientifique exceptionnel et un budget solidement justifié. Les candidats sont invités à ne solliciter que le financement nécessaire à la réalisation des travaux proposés. Nous tiendrons compte de la pertinence du budget et de l’utilisation optimale des ressources de la Faculté des arts et des sciences lors de l’évaluation des propositions.

• Le budget maximal pour ce projet est $75, 000.
• Les soumissionnaires doivent inclure un devis détaillé pour les travaux spécifiés, ainsi qu'une estimation des coûts récurrents que le CAS devra supporter pour la maintenance indépendante du système. Veuillez noter que ces coûts sont distincts du financement couvert par le présent appel d'offres.
• Une partie du financement devrait servir à couvrir les frais de déplacement habituels pour présenter l'article lors d'un séminaire ou d'une réunion parrainée par la CAS.
• Le financement de la recherche du CAS ne couvre pas les frais généraux, mais peut couvrir les salaires et les avantages sociaux.
• La rémunération sera proportionnelle au temps nécessaire à la réalisation des travaux.

• Comme condition de sélection, la CAS exige que tous les droits, titres et intérêts, y compris les droits d'auteur et les brevets, relatifs au rapport lui appartiennent. Le ou les chercheurs sélectionnés doivent signer un accord de recherche formel cédant tous ces droits à la CAS.
• Dans toute publication du rapport, le ou les chercheurs seront dûment cités comme auteurs. La CAS peut publier le rapport dans son intégralité, ou certaines sections, sous tout format et support qu'elle juge appropriés, y compris, mais sans s'y limiter, les publications de la CAS, les versions électroniques sur son site web ou sur des supports physiques. Toute publication hors de la CAS nécessite l'autorisation de la CAS, et les auteurs sont tenus de mentionner les publications antérieures.
• Si l'auteur publie la version finale de l'article sur une plateforme de prépublication telle qu'ArXiv, l'Académie chinoise des sciences (CAS) doit être mentionnée comme financeur de la recherche.
• Le ou les chercheurs doivent tout mettre en œuvre pour être disponibles afin de présenter leurs résultats et de partager leur expertise lors d'une réunion ou d'un séminaire de la CAS.
• Le projet sera supervisé par le groupe de travail sur l'IA de l'Académie chinoise des sciences, avec des contrôles réguliers.-ins.

• Afin de faciliter l'adoption de la recherche, le code et les données du produit final seront également déposés sur le dépôt GitHub du CAS, sous licence MPL 2.0. L'auteur devra inclure un lien vers le dépôt des articles de recherche du CAS dans le corps du texte final : https://github.com/casact/research-papers.
• Les auteurs doivent signaler toute utilisation spécifique de l'intelligence artificielle dans leurs recherches.
• Tous les tableaux et figures doivent être numérotés et comporter une légende dans le texte.
• Les manuscrits doivent inclure un résumé de 150 mots maximum.
• Les références doivent utiliser le système auteur-date du Chicago Manual of Style, 18e édition.
• Les manuscrits doivent inclure une liste de 2 à 10 mots-clés pertinents pour aider les lecteurs à découvrir le contenu en ligne.