Apprentissage par classement

L'apprentissage par classement^[1] ou classement appris par machine (MLR) est l'application de l'apprentissage automatique – typiquement supervisé, semi-supervisé ou apprentissage par renforcement – dans la construction de fonction de classements pour les systèmes de recherche d'information^[2]. Les données d'entraînement se composent, par exemple, de listes d'éléments pour lesquelles un ordre partiel est spécifié entre les éléments de chaque liste. Cet ordre s'obtient typiquement en attribuant à chaque élément un score numérique ou ordinal, ou un jugement binaire (ex. « pertinent » ou « non pertinent »). L'objectif de construire le modèle de classement est de classer de nouvelles listes, non encore vues, d'une manière similaire aux classements figurant dans les données d'entraînement.

Applications

En recherche d'information

Le classement constitue un élément central de nombreux problèmes de recherche d'information, tels que la récupération de documents, le filtrage collaboratif, l'analyse de sentiments et la publicité en ligne.

Une architecture possible d'un moteur de recherche utilisant l'apprentissage par classement est présentée sur la figure ci-contre.

Les données d'entraînement se composent de requêtes et de documents associés, avec pour chacun un degré de pertinence. Ces données peuvent être préparées manuellement par des évaluateurs humains (ou « évaluateurs », comme Google les désigne), qui examinent les résultats pour certaines requêtes et déterminent la pertinence de chaque résultat. Il n'est pas réaliste de vérifier la pertinence de tous les documents, et une technique appelée « pooling » s'emploie typiquement – seuls les quelques premiers documents, récupérés par certains modèles de classement existants, sont vérifiés. Cette technique peut introduire un biais de sélection. Alternativement, les données d'entraînement se dérivent automatiquement par l'analyse des « clickthrough logs » (c'est-à-dire les résultats ayant fait l'objet de clics par les utilisateurs)^[3], chaînes de requêtes^[4], ou par des fonctionnalités telles que SearchWiki de Google (désormais remplacé). Les clickthrough logs se montrent biaisés par la tendance des utilisateurs à cliquer sur les premiers résultats, supposés déjà bien classés.

Les données d'entraînement s'emploient ensuite par un algorithme d'apprentissage pour produire un modèle de classement qui calcule la pertinence des documents pour de réelles requêtes.

Typiquement, les utilisateurs attendent qu'une requête se termine en quelques centaines de millisecondes (comme dans la recherche sur le web), ce qui rend impossible l'évaluation d'un modèle de classement complexe sur chaque document du corpus. On emploie donc une procédure en deux phases^[5]. La première phase consiste à identifier un petit nombre de documents potentiellement pertinents à l'aide de modèles de recherche plus simples permettant une évaluation rapide des requêtes, tels que le modèle vectoriel, le modèle booléen ou le weighted AND^[6], ou le BM25. Cette phase s'appelle « récupération des k meilleurs documents » et de nombreuses heuristiques ont été proposées dans la littérature pour l'accélérer, par exemple en utilisant le score de qualité statique d'un document et des index hiérarchisés^[5]. Dans la seconde phase, un modèle appris par machine, plus précis mais coûteux en calcul, se charge de reclasser ces documents.

Dans d'autres domaines

Les algorithmes d'apprentissage par classement s'appliquent également en dehors de la recherche d'information :

En traduction automatique pour classer un ensemble d'hypothétiques traductions^[7];
En biologie computationnelle pour classer les structures 3‑D candidates dans les problèmes de prédiction de la structure des protéines^[7];
Dans les système de recommandations pour identifier une liste classée d'articles d'actualité à recommander à un utilisateur après la lecture d'un article en cours^[8].

Vecteurs de caractéristiques

Pour la commodité des algorithmes MLR, les paires requête–document se représentent généralement sous forme de vecteurs numériques, appelés vecteur de caractéristiques. Une telle approche est parfois qualifiée de « sac de caractéristiques » et s'apparente au modèle sac de mots et au modèle vectoriel utilisés en recherche d'information pour la représentation des documents.

Les composantes de ces vecteurs s'appellent des caractéristiques, « facteurs » ou « signaux de classement ». On peut les diviser en trois groupes (des exemples de caractéristiques issues de la récupération de documents sont indiqués) :

Caractéristiques indépendantes de la requête ou statiques – celles qui dépendent uniquement du document et non de la requête. Par exemple, PageRank ou la longueur d'un document. Ces caractéristiques se pré-calculent en mode hors ligne lors de l'indexation. Elles servent à calculer le « score de qualité statique » (ou « rang statique ») du document, souvent utilisé pour accélérer l'évaluation d'une requête de recherche^[5]^,^[9].
Caractéristiques dépendantes de la requête ou dynamiques – celles qui dépendent à la fois du contenu du document et de la requête, telles que le score TF-IDF ou d'autres fonctions de classement non apprises par machine.
Caractéristique de requêtes (QLF), qui dépendent uniquement de la requête. Par exemple, le nombre de mots dans une requête.

Quelques exemples de caractéristiques utilisés dans le célèbre jeu de données LETOR :

TF, TF-IDF, BM25 et les scores issus de la modélisation du langage appliqués aux zones d'un document (titre, corps, texte des ancres, URL) pour une requête donnée ;
Longueurs et sommes d'IDF des zones d'un document ;
Le PageRank, les classements HITS et leurs variantes.

La sélection et la conception de bonnes caractéristiques constituent un domaine important en apprentissage automatique, appelé ingénierie des caractéristiques.

Mesures d'évaluation

Plusieurs mesures (métriques) s'emploient couramment pour juger de la performance d'un algorithme sur les données d'entraînement et pour comparer les performances de différents algorithmes MLR. Souvent, un problème d'apprentissage par classement se reformule comme un problème d'optimisation par rapport à l'une de ces métriques.

Exemples de mesures de qualité de classement :

Précision moyenne
DCG et NDCG
Précision@n, NDCG@n, où « @n » indique que les métriques s'évaluent uniquement sur les n premiers documents ;
Rang réciproque moyen
Tau de Kendall
Corrélation de Spearman

Le DCG et sa variante normalisée NDCG sont généralement privilégiés dans la recherche académique lorsque plusieurs niveaux de pertinence s'emploient^[10]. D'autres métriques telles que MAP, MRR et la précision se définissent uniquement pour des jugements binaires.

Récemment, plusieurs nouvelles métriques d'évaluation apparaissent, prétendant modéliser la satisfaction de l'utilisateur par rapport aux résultats de recherche mieux que la métrique DCG :

Expected reciprocal rank (ERR)^[11];
Le pfound de Yandex^[12].

Ces deux métriques reposent sur l'hypothèse que l'utilisateur est plus susceptible d'arrêter de consulter les résultats de recherche après avoir examiné un document plus pertinent que lorsqu'il en examine un moins pertinent.

Approches

Les approches d'apprentissage par classement se répartissent souvent en trois catégories : l'approche par point (où les documents individuels se classent), l'approche par paire (où des paires de documents se classent par ordre relatif) et l'approche par liste (où une liste entière de documents se met en ordre).

Tie-Yan Liu de Microsoft Research Asia analyse les algorithmes existants pour les problèmes d'apprentissage par classement dans son ouvrage Learning to Rank for Information Retrieval^[1]. Il les classe en trois groupes selon leurs espaces d'entrée, espaces de sortie, espaces d'hypothèses (la fonction cœur du modèle) et fonctions de perte : l'approche par point, par paire et par liste. En pratique, l'approche par liste surpasse souvent les approches par paire et par point.

Dans cette section, sans autre précision, $x$ désigne un objet à évaluer (par exemple, un document ou une image), $f(x)$ désigne une hypothèse à valeur unique, $h$ désigne une fonction bivariée ou multivariée et $L$ désigne la fonction de perte.

Approche par point

Dans ce cas, on suppose que chaque paire requête–document dans les données d'entraînement dispose d'un score numérique ou ordinal. Le problème d'apprentissage par classement se rapproche alors d'un problème de régression – pour une paire requête–document donnée, on prédit son score. Formellement, l'approche par point vise à apprendre une fonction $f(x)$ qui prédit le score réel ou ordinal d'un document $x$ en utilisant la fonction de perte $L(f;x_{j},y_{j})$ .

Un certain nombre d'algorithmes d'apprentissage supervisé existants s'emploient aisément à cet effet. Les algorithmes de régression ordinale et de classification s'emploient également dans l'approche par point lorsqu'ils prédisent le score d'une paire requête–document unique, lequel prend un nombre fini et restreint de valeurs.

Approche par paire

Dans ce cas, le problème d'apprentissage par classement se rapproche d'un problème de classification – apprendre un classifieur binaire $h(x_{u},x_{v})$ capable de déterminer quel document est supérieur dans une paire donnée. Le classifieur reçoit deux documents en entrée et l'objectif est de minimiser une fonction de perte $L(h;x_{u},x_{v},y_{u,v})$ . Cette fonction de perte reflète généralement le nombre et l'ampleur des inversions dans le classement induit.

Dans de nombreux cas, le classifieur binaire $h(x_{u},x_{v})$ s'implémente à l'aide d'une fonction de notation $f(x)$ . Par exemple, RankNet^[13] adapte un modèle probabiliste et définit $h(x_{u},x_{v})$ comme la probabilité estimée que le document $x_{u}$ ait une qualité supérieure à $x_{v}$ :

P_{u,v}(f)={\text{CDF}}{\bigl (}f(x_{u})-f(x_{v}){\bigr )},

où ${\text{CDF}}(\cdot )$ est une fonction de répartition cumulée, par exemple, la CDF logistique standard, c'est-à-dire

{\text{CDF}}(x)={\frac {1}{1+\exp {\bigl (}-x{\bigr )}}}.

Approche par liste

Ces algorithmes essaient d'optimiser directement la valeur d'une des mesures d'évaluation ci-dessus, moyennée sur l'ensemble des requêtes des données d'entraînement. Cela s'avère souvent difficile en pratique, car la plupart des mesures d'évaluation ne sont pas des fonctions continues par rapport aux paramètres du modèle de classement, et il faut alors utiliser des approximations continues ou des bornes sur ces mesures. Par exemple, l'algorithme SoftRank^[14]. LambdaMART est un algorithme par paire qui s'est montré empiriquement capable d'approcher des fonctions objectifs par liste^[15].

Liste des méthodes

Une liste partielle des algorithmes d'apprentissage par classement publiés est présentée ci-dessous avec l'année de première publication de chaque méthode :

Année	Nom	Type	Remarques
1989	OPRF^[16]	2par point	Régression polynomiale (au lieu de l'apprentissage automatique, ce travail se réfère à la reconnaissance de formes, mais l'idée est la même).
1992	SLR^[17]	2par point	Régression logistique par étapes.
1994	NMOpt^[18]	2par liste	Optimisation non métrique.
1999	MART (Arbres de régression additives multiples)^[19]	2par paire
2000	Ranking SVM (RankSVM)	2par paire	Une présentation plus récente se trouve dans^[3], qui décrit une application au classement utilisant les clics.
2001	Pranking	1par point	Régression ordinale.
2003	RankBoost	2par paire
2005	RankNet	2par paire
2006	IR-SVM^[20]	2par paire	SVM de classement avec normalisation au niveau de la requête dans la fonction de perte.
2006	LambdaRank	par paire/par liste	RankNet dans lequel la fonction de perte par paire est multipliée par la variation de la métrique de recherche d'information causée par un échange.
2007	AdaRank^[21]	3par liste
2007	FRank	2par paire	Basé sur RankNet, utilise une fonction de perte différente – la perte de fidélité.
2007	GBRank	2par paire
2007	ListNet	3par liste
2007	McRank	1par point
2007	QBRank	2par paire
2007	RankCosine^[22]	3par liste
2007	RankGP^[23]	3par liste
2007	RankRLS	2par paire	Classement basé sur les moindres carrés régularisés. Le travail s'étend^[24] à l'apprentissage par classement à partir de graphes de préférences.
2007	SVM^map	3par liste
2008	LambdaSMART/LambdaMART	par paire/par liste	Entrée gagnante lors de la compétition Yahoo Learning to Rank en 2010, utilisant un ensemble de modèles LambdaMART. Basé sur MART (1999)^[25] « LambdaSMART », pour le sous-modèle LambdaMART, ou LambdaMART dans le cas sans sous-modèle.
2008	ListMLE^[26]	3par liste	Basé sur ListNet.
2008	PermuRank^[27]	3par liste
2008	SoftRank^[28]	3par liste
2008	Ranking Refinement^[29]	2par paire	Une approche semi-supervisée pour l'apprentissage par classement qui utilise le Boosting.
2008	SSRankBoost^[30]	2par paire	Une extension de RankBoost pour apprendre avec des données partiellement étiquetées (apprentissage semi-supervisé du classement).
2008	SortNet^[31]	2par paire	SortNet, un algorithme de classement adaptatif qui ordonne les objets en utilisant un réseau de neurones comme comparateur.
2009	MPBoost^[32]	2par paire	Variante de RankBoost préservant la magnitude. L'idée est que plus les étiquettes d'une paire de documents sont inégales, plus l'algorithme doit s'efforcer de les classer.
2009	BoltzRank	3par liste	Contrairement aux méthodes antérieures, BoltzRank produit un modèle de classement qui, lors de l'exécution de la requête, examine non seulement un document unique, mais aussi des paires de documents.
2009	BayesRank	3par liste	Une méthode qui combine le modèle Plackett–Luce et un réseau de neurones pour minimiser le risque Bayésien attendu, lié au NDCG, du point de vue décisionnel.
2010	NDCG Boost^[33]	3par liste	Une approche de boosting pour optimiser le NDCG.
2010	GBlend	2par paire	Étend GBRank au problème d'apprentissage de fusion consistant à résoudre conjointement plusieurs problèmes d'apprentissage par classement avec certaines caractéristiques partagées.
2010	IntervalRank	2par paire & par liste
2010	CRR^[34]	2par point & par paire	Régression et classement combinés. Utilise la descente de gradient stochastique pour optimiser une combinaison linéaire d'une perte quadratique par point et d'une perte de type hinge par paire issue du Ranking SVM.
2014	LCR^[35]	2par paire	Applique l'hypothèse de faible rang local sur le classement collaboratif. A reçu le prix du meilleur article étudiant à WWW'14.
2015	FaceNet	par paire	Classe les images de visages avec la métrique de triplet via un réseau de neurones convolutionnel profond.
2016	XGBoost	par paire	Supporte divers objectifs de classement et mesures d'évaluation.
2017	ES-Rank^[36]	par liste	Technique d'apprentissage par classement par stratégie évolutive avec 7 mesures d'évaluation de la fitness.
2018	DLCM^[37]	2par liste	Une fonction de classement multivariée qui encode plusieurs éléments d'une liste initiale classée (contexte local) à l'aide d'un réseau de neurones récurrent, puis crée un classement des résultats en conséquence.
2018	PolyRank^[38]	par paire	Apprend simultanément le classement et le modèle génératif sous-jacent à partir de comparaisons par paires.
2018	FATE-Net/FETA-Net^[39]	par liste	Architectures entièrement entraînables, prenant explicitement en compte tous les éléments pour modéliser les effets de contexte.
2019	FastAP^[40]	par liste	Optimise la précision moyenne pour apprendre des embeddings profonds.
2019	Mulberry	par liste & hybride	Apprend des politiques de classement maximisant plusieurs métriques sur l'ensemble du jeu de données.
2019	DirectRanker	par paire	Généralisation de l'architecture RankNet.
2019	GSF^[41]	2par liste	Une fonction de classement multivariée invariante par permutation qui encode et classe les éléments avec des fonctions de notation groupées construites à l'aide de réseaux de neurones profonds.
2020	RaMBO^[42]	par liste	Optimise les métriques basées sur le classement en utilisant la rétropropagation en boîte noire^[43]
2020	PRM^[44]	par paire	Réseau transformeur encodant à la fois les dépendances entre les éléments et les interactions entre l'utilisateur et ces derniers.
2020	SetRank^[45]	2par liste	Une fonction de classement multivariée invariante par permutation qui encode et classe les éléments avec des réseaux à auto-attention.
2021	PiRank^[46]	par liste	Des substituts différentiables pour le classement, capables de retrouver exactement les métriques souhaitées et de bien se scaler pour de grandes tailles de liste, améliorant significativement les benchmarks à l'échelle d'Internet.
2022	SAS-Rank	par liste	Combine le recuit simulé avec la stratégie évolutive pour l'apprentissage par classement implicite et explicite à partir d'étiquettes de pertinence.
2022	VNS-Rank	par liste	Recherche de voisinage variable dans 2 nouvelles méthodologies en IA pour l'apprentissage par classement.
2022	VNA-Rank	par liste	Combine le recuit simulé avec la recherche de voisinage variable pour l'apprentissage par classement.
2023	GVN-Rank	par liste	Combine l'ascension de gradient avec la recherche de voisinage variable pour l'apprentissage par classement.

Note : Comme la plupart des algorithmes supervisés d'apprentissage par classement s'appliquent aux cas par point, par paire et par liste, seules les méthodes spécifiquement conçues pour le classement sont présentées ci-dessus.

Histoire

Norbert Fuhr introduit l'idée générale du MLR en 1992, décrivant les approches d'apprentissage en recherche d'information comme une généralisation de l'estimation de paramètres^[47] ; une variante spécifique de cette approche (utilisant la régression polynomiale) est publiée par lui trois ans plus tôt^[16]. Bill Cooper propose la régression logistique pour le même objectif en 1992^[17] et l'utilise avec son groupe de recherche de Berkeley pour entraîner une fonction de classement performante pour le TREC. Manning et al.^[48].

Plusieurs conférences, telles que NeurIPS, SIGIR et ICML organisent depuis le milieu des années 2000 des ateliers consacrés au problème de l'apprentissage par classement.

Utilisation pratique par les moteurs de recherche

Les moteurs de recherche commerciaux commencent à utiliser des systèmes de classement appris par machine depuis les années 2000. L'un des premiers moteurs de recherche à l'adopter est AltaVista (plus tard sa technologie est acquise par Overture, puis par Yahoo), qui lance une fonction de classement entraînée par gradient boosting en avril 2003^[49]^,^[50].

On dit que la recherche sur Bing s'appuie sur l'algorithme RankNet^[51]^[Quand ?], inventé chez Microsoft Research en 2005.

En novembre 2009, le moteur de recherche russe Yandex annonce^[52] qu'il augmente significativement la qualité de sa recherche grâce au déploiement d'un nouvel algorithme propriétaire MatrixNet, une variante de la méthode de gradient boosting qui utilise des arbres de décision oblivieux^[53]. Récemment, ils sponsorisent également une compétition d'apprentissage par classement automatique « Internet Mathematics 2009 »^[54] basée sur les données de production de leur propre moteur de recherche. Yahoo annonce une compétition similaire en 2010^[55].

En 2008, Google et Peter Norvig déclarent que leur moteur de recherche ne repose pas exclusivement sur l'apprentissage automatique du classement^[56] ; le PDG de Cuil, Tom Costello, suggère qu'ils préfèrent des modèles construits manuellement, car ceux-ci surpassent les modèles appris automatiquement lorsqu'on les mesure à l'aide d'indicateurs tels que le taux de clics ou le temps passé sur la page d'atterrissage – parce que les modèles appris « apprennent ce que les gens disent aimer, et non ce qu'ils aiment réellement »^[57].

En janvier 2017, la technologie est intégrée dans le moteur de recherche open source Apache Solr^[58]. Elle est également disponible dans OpenSearch open source et dans Elasticsearch en mode source-disponible^[59]^,^[60]. Ces implémentations rendent l'apprentissage par classement largement accessible pour la recherche en entreprise.

Vulnérabilités

À l'instar des applications de reconnaissance en vision par ordinateur, les algorithmes récents de classement basés sur les réseaux de neurones se révèlent également vulnérables aux attaques adversariales, aussi bien sur les candidats que sur les requêtes^[61]. Avec de petites perturbations imperceptibles à l'œil humain, l'ordre de classement peut être modifié arbitrairement. De plus, des exemples adversariaux transférables, indépendants du modèle, apparaissent possibles, permettant des attaques adversariales en boîte noire sur des systèmes de classement profonds sans nécessiter l'accès à leurs implémentations sous-jacentes^[61]^,^[62].

Inversement, la robustesse de tels systèmes de classement peut être améliorée grâce à des défenses adversariales telles que la défense Madry^[63].

Voir aussi

Références

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Learning to rank » (voir la liste des auteurs).

Tie-Yan Liu, « Learning to Rank for Information Retrieval », Foundations and Trends in Information Retrieval, vol. 3, n^o 3,‎ 2009, p. 225–331 (ISBN 978-1-60198-244-5, DOI 10.1561/1500000016)
↑ Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press (ISBN 9780262018258).
Joachims, T., « Optimizing Search Engines using Clickthrough Data », Proceedings of the ACM Conference on Knowledge Discovery and Data Mining,‎ 2002 (lire en ligne [archive du 29 décembre 2009], consulté le 11 novembre 2009)
↑ Joachims T. et Radlinski F., « Query Chains: Learning to Rank from Implicit Feedback », Proceedings of the ACM Conference on Knowledge Discovery and Data Mining,‎ 2005 (Bibcode 2006cs........5035R, arXiv cs/0605035, lire en ligne [archive du 27 juillet 2011], consulté le 19 décembre 2009)
Manning C., Raghavan P. et Schütze H., Introduction to Information Retrieval, Cambridge University Press, 2008
↑ Broder A., Carmel D., Herscovici M., Soffer A. et Zien J., Proceedings of the twelfth international conference on Information and knowledge management, 2003, 426–434 p. (ISBN 978-1-58113-723-1, DOI 10.1145/956863.956944, S2CID 2432701, lire en ligne [archive du 21 mai 2009]), « Efficient query evaluation using a two-level retrieval process »
Kevin K. Duh, Learning to Rank with [sic]Labeled Data, 2009 (lire en ligne [archive du 20 juillet 2011])
↑ Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang, and Yi Chang, Learning to Model Relatedness for News Recommendation « https://web.archive.org/web/20110827065356/http://sifaka.cs.uiuc.edu/~ylv2/pub/www11-relatedness.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 27 août 2011, in International Conference on World Wide Web (WWW), 2011.
↑ M. Richardson, Prakash, A. et Brill, E. « Beyond PageRank: Machine Learning for Static Ranking » (2006) (lire en ligne, consulté le 18 novembre 2009) [archive du 15 août 2009]
— « (ibid.) », dans Proceedings of the 15th International World Wide Web Conference, p. 707–715
↑ « Archived copy » [archive du 4 janvier 2011] (consulté le 14 décembre 2009)
↑ Olivier Chapelle, Donald Metzler, Ya Zhang et Pierre Grinspan, Expected Reciprocal Rank for Graded Relevance, 2009 (lire en ligne [archive du 24 février 2012])
↑ Gulin A., Karpovich P., Raskovalov D. et Segalovich I., Yandex at ROMIP'2009: optimization of ranking algorithms by machine learning methods, 2009, 163–168 p. (lire en ligne [archive du 22 novembre 2009])
↑ Chris J. C. Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt Deeds, Nicole Hamilton et Greg Hullender, « Learning to Rank using Gradient Descent » [archive du 26 février 2021], 1^er août 2005 (consulté le 31 mars 2021)
↑ Taylor, M.J., Guiver, J., Robertson, S.E., & Minka, T.P. (2008). SoftRank: optimizing non-smooth rank metrics. Web Search and Data Mining.
↑ (en-US) Chris J. C. Burges, « From RankNet to LambdaRank to LambdaMART: An Overview », 23 juin 2010
Norbert Fuhr, Optimum polynomial retrieval functions based on the probability ranking principle, vol. 7, 1989, 183–204 p. (DOI 10.1145/65943.65944 , S2CID 16632383), chap. 3
Cooper, William S., Gey, Frederic C. et Dabney, Daniel P., Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval - SIGIR '92, 1992, 198–210 p. (ISBN 978-0897915236, DOI 10.1145/133160.133199, S2CID 125993), « Probabilistic retrieval based on staged logistic regression »
↑ Bartell, Brian T., Cottrell Garrison W. et Belew, Richard K., Sigir '94, 1994, 173–181 p. (ISBN 978-0387198897, DOI 10.1007/978-1-4471-2099-5_18, S2CID 18606472, lire en ligne [archive du 13 juin 2018]), « Automatic Combination of Multiple Ranked Retrieval Systems »
↑ Jerome H. Friedman, « Greedy Function Approximation: A Gradient Boosting Machine », The Annals of Statistics, vol. 29, n^o 5,‎ 2001, p. 1189–1232 (ISSN 0090-5364, DOI 10.1214/aos/1013203451, JSTOR 2699986, lire en ligne)
↑ Yunbo Cao, Jun Xu, Tie-Yan Liu, Hang Li, Yalou Huang et Hsiao-Wuen Hon, Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '06 », 6 août 2006, 186–193 p. (ISBN 978-1-59593-369-0, DOI 10.1145/1148170.1148205, lire en ligne), « Adapting ranking SVM to document retrieval »
↑ Jun Xu et Hang Li, Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '07 », 23 juillet 2007, 391–398 p. (ISBN 978-1-59593-597-7, DOI 10.1145/1277741.1277809, lire en ligne), « AdaRank: A boosting algorithm for information retrieval »
↑ Tao Qin, Xu-Dong Zhang, Ming-Feng Tsai, De-Sheng Wang, Tie-Yan Liu et Hang Li, « Query-level loss functions for information retrieval », Information Processing & Management, evaluating Exploratory Search Systems, vol. 44, n^o 2,‎ 1^er mars 2008, p. 838–855 (ISSN 0306-4573, DOI 10.1016/j.ipm.2007.07.016, lire en ligne)
↑ Jung Yi Lin, Jen-Yuan Yeh et Chao Chung Liu, 2012 IEEE International Conference on Computational Intelligence and Cybernetics (CyberneticsCom), IEEE, juillet 2012, 45–49 p. (ISBN 978-1-4673-0892-2, DOI 10.1109/cyberneticscom.2012.6381614, lire en ligne), « Learning to rank for information retrieval using layered multi-population genetic programming »
↑ Tapio Pahikkala, Tsivtsivadze, Evgeni, Airola, Antti, Järvinen, Jouni et Boberg, Jorma, An efficient algorithm for learning to rank from preference graphs, vol. 75, 2009, 129–165 p. (DOI 10.1007/s10994-008-5097-z ), chap. 1
↑ C. Burges. (2010). From RankNet to LambdaRank to LambdaMART: An Overview « https://web.archive.org/web/20171110173101/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 10 novembre 2017.
↑ Fen Xia, Tie-Yan Liu, Jue Wang, Wensheng Zhang et Hang Li, Proceedings of the 25th international conference on Machine learning - ICML '08, New York, NY, USA, Association for Computing Machinery, 5 juillet 2008, 1192–1199 p. (ISBN 978-1-60558-205-4, DOI 10.1145/1390156.1390306, lire en ligne), « Listwise approach to learning to rank: Theory and algorithm »
↑ Jun Xu, Tie-Yan Liu, Min Lu, Hang Li et Wei-Ying Ma, Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '08 », 20 juillet 2008, 107–114 p. (ISBN 978-1-60558-164-4, DOI 10.1145/1390334.1390355, lire en ligne), « Directly optimizing evaluation measures in learning to rank »
↑ Michael Taylor, John Guiver, Stephen Robertson et Tom Minka, Proceedings of the international conference on Web search and web data mining - WSDM '08, New York, NY, USA, Association for Computing Machinery, 11 février 2008, 77–86 p. (ISBN 978-1-59593-927-2, DOI 10.1145/1341531.1341544, lire en ligne), « SoftRank: Optimizing non-smooth rank metrics »
↑ Rong Jin, Hamed Valizadegan, Hang Li, Ranking Refinement and Its Application for Information Retrieval « https://web.archive.org/web/20120406214253/http://www.cs.pitt.edu/~valizadegan/Publications/ranking_refinement.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 6 avril 2012, in International Conference on World Wide Web (WWW), 2008.
↑ Massih-Reza Amini, Vinh Truong, Cyril Goutte, A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Labeled Data « https://web.archive.org/web/20100802093049/http://www-connex.lip6.fr/~amini/Publis/SemiSupRanking_sigir08.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 2 août 2010, International ACM SIGIR conference, 2008. The code « https://web.archive.org/web/20100723152841/http://www-connex.lip6.fr/~amini/SSRankBoost/ »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 23 juillet 2010 is available for research purposes.
↑ Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, "SortNet: learning to rank by a neural-based sorting algorithm" « https://web.archive.org/web/20111125100156/http://research.microsoft.com/en-us/um/beijing/events/lr4ir-2008/proceedings-lr4ir%202008.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 25 novembre 2011, SIGIR 2008 workshop: Learning to Rank for Information Retrieval, 2008
↑ Chenguang Zhu, Weizhu Chen, Zeyuan Allen Zhu, Gang Wang, Dong Wang et Zheng Chen, Proceedings of the 18th ACM conference on Information and knowledge management, New York, NY, USA, Association for Computing Machinery, coll. « CIKM '09 », 2 novembre 2009, 817–826 p. (ISBN 978-1-60558-512-3, DOI 10.1145/1645953.1646057, lire en ligne), « A general magnitude-preserving boosting algorithm for search ranking »
↑ Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao, Learning to Rank by Optimizing NDCG Measure « https://web.archive.org/web/20120406214443/http://www.cs.pitt.edu/~valizadegan/Publications/NDCG_Boost.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 6 avril 2012, in Proceeding of Neural Information Processing Systems (NIPS), 2010.
↑ D. Sculley, Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining, New York, NY, USA, Association for Computing Machinery, coll. « KDD '10 », 25 juillet 2010, 979–988 p. (ISBN 978-1-4503-0055-1, DOI 10.1145/1835804.1835928, lire en ligne), « Combined regression and ranking »
↑ Joonseok Lee, Samy Bengio, Seungyeon Kim, Guy Lebanon et Yoram Singer, Proceedings of the 23rd international conference on World wide web, New York, NY, USA, Association for Computing Machinery, coll. « WWW '14 », 7 avril 2014, 85–96 p. (ISBN 978-1-4503-2744-2, DOI 10.1145/2566486.2567970, lire en ligne), « Local collaborative ranking »
↑ Osman Ali Sadek Ibrahim et Dario Landa-Silva, Proceedings of the Symposium on Applied Computing, New York, NY, USA, Association for Computing Machinery, coll. « SAC '17 », 3 avril 2017, 944–950 p. (ISBN 978-1-4503-4486-9, DOI 10.1145/3019612.3019696, lire en ligne), « ES-Rank: Evolution strategy learning to rank approach »
↑ Ai, Qingyao, Bi, Keping, Jiafeng, Guo et Croft, W. Bruce, The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval, 2018, 135–144 p. (ISBN 9781450356572, DOI 10.1145/3209978.3209985 , arXiv 1804.05936, S2CID 4956076), « Learning a Deep Listwise Context Model for Ranking Refinement »
↑ Ori Davidov, Nir Ailon et Ivo F. D. Oliveira, « A New and Flexible Approach to the Analysis of Paired Comparison Data », Journal of Machine Learning Research, vol. 19, n^o 60,‎ 2018, p. 1–29 (ISSN 1533-7928, lire en ligne [archive du 3 octobre 2019], consulté le 17 septembre 2019)
↑ (en) Karlson Pfannschmidt, Pritha Gupta et Eyke Hüllermeier, « Deep Architectures for Learning Context-dependent Ranking Functions », 2018.
↑ Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank « https://web.archive.org/web/20190514175024/http://cs-people.bu.edu/fcakir/papers/fastap_cvpr2019.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 14 mai 2019
↑ Ai, Qingyao, Wang, Xuanhui, Bruch, Sebastian, Golbandi, Nadav, Bendersky, Michael et Najork, Marc, Proceedings of the 2019 ACM SIGIR International Conference on Theory of Information Retrieval, 2019, 85–92 p. (ISBN 9781450368810, DOI 10.1145/3341981.3344218 , arXiv 1811.04415, S2CID 199441954), « Learning Groupwise Multivariate Scoring Functions Using Deep Neural Networks »
↑ (en) Michal Rolínek, Vít Musil, Anselm Paulus, Marin Vlastelica, Claudio Michaelis et al., « Optimizing Rank-based Metrics with Blackbox Differentiation », 18 mars 2020.
↑ (en) Marin Vlastelica, Anselm Paulus, Vít Musil, Georg Martius et Michal Rolínek, « Differentiation of Blackbox Combinatorial solvers », 4 décembre 2019
↑ Weiwen Liu, Qing Liu, Ruiming Tang, Junyang Chen, Xiuqiang He et Pheng Ann Heng, Proceedings of the 29th ACM International Conference on Information & Knowledge Management, Virtual Event, Ireland, Association for Computing Machinery, coll. « CIKM '20 », 19 octobre 2020, 925–934 p. (ISBN 978-1-4503-6859-9, DOI 10.1145/3340531.3412332, S2CID 224281012, lire en ligne [archive du 17 octobre 2021]), « Personalized Re-ranking with Item Relationships for E-commerce »
↑ Pang, Liang, Xu, Jun, Ai, Qingyao, Lan, Yanyan, Cheng, Xueqi et Wen, Jirong, Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2020, 499–508 p. (ISBN 9781450380164, DOI 10.1145/3397271.3401104, S2CID 241534531), « SetRank »
↑ Robin Swezey, Aditya Grover, Bruno Charron et Stefano Ermon, « PiRank: Scalable Learning To Rank via Differentiable Sorting », Advances in Neural Information Processing Systems, Virtual Event, Ireland, neurIPS '21, vol. 34,‎ 27 novembre 2021 (arXiv 2012.06731)
↑ Norbert Fuhr, Probabilistic Models in Information Retrieval, vol. 35, 1992, 243–255 p. (DOI 10.1093/comjnl/35.3.243 ), chap. 3
↑ Manning C., Raghavan P. et Schütze H., Introduction to Information Retrieval, Cambridge University Press, 2008
↑ Jan O. Pedersen. The MLR Story « https://web.archive.org/web/20110713120113/http://jopedersen.com/Presentations/The_MLR_Story.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 13 juillet 2011
↑ Modèle:US Patent
↑ « Bing Search Blog: User Needs, Features and the Science behind Bing » [archive du 25 novembre 2009] (consulté le 19 novembre 2009)
↑ Yandex corporate blog entry about new ranking model "Snezhinsk" « https://web.archive.org/web/20120301165959/http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er mars 2012
↑ L'algorithme n'est pas dévoilé, mais quelques détails sont rendus publics dans [1] « https://web.archive.org/web/20100601171627/http://download.yandex.ru/company/experience/GDD/Zadnie_algoritmy_Karpovich.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er juin 2010 et [2] « https://web.archive.org/web/20100601171629/http://download.yandex.ru/company/experience/searchconf/Searchconf_Algoritm_MatrixNet_Gulin.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er juin 2010
↑ « Yandex's Internet Mathematics 2009 competition page » [archive du 17 mars 2015] (consulté le 11 novembre 2009)
↑ « Yahoo Learning to Rank Challenge » [archive du 1^er mars 2010] (consulté le 26 février 2010)
↑ Anand Rajaraman, « Are Machine-Learned Models Prone to Catastrophic Errors? » [archive du 1^er juillet 2012], 24 mai 2008 (consulté le 11 novembre 2009)
↑ Tom Costello, « Cuil Blog: So how is Bing doing? » [archive du 27 juin 2009], 26 juin 2009
↑ (en-US) « How Bloomberg Integrated Learning-to-Rank into Apache Solr | Tech at Bloomberg », Tech at Bloomberg,‎ 23 janvier 2017 (lire en ligne [archive du 1^er mars 2017], consulté le 28 février 2017)
↑ « Learning to Rank for Amazon OpenSearch Service - Amazon OpenSearch Service », sur docs.aws.amazon.com (consulté le 22 septembre 2023)
↑ « Elasticsearch Learning to Rank: the documentation — Elasticsearch Learning to Rank documentation », sur elasticsearch-learning-to-rank.readthedocs.io (consulté le 22 septembre 2023)
(en) Mo Zhou, Zhenxing Niu, Le Wang, Qilin Zhang et Gang Hua, « Adversarial Ranking Attack and Defense », 2020.
↑ Jie Li, Rongrong Ji, Hong Liu, Xiaopeng Hong, Yue Gao et Qi Tian, « Universal Perturbation Attack Against Image Retrieval », International Conference on Computer Vision (ICCV 2019),‎ 2019, p. 4899–4908 (arXiv 1812.00552, lire en ligne [archive du 6 juillet 2020], consulté le 4 juillet 2020)
↑ (en) Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras et Adrian Vladu, « Towards Deep Learning Models Resistant to Adversarial Attacks », 19 juin 2017.

Liens externes

Compétitions et jeux de données publics

Portail de l’intelligence artificielle
Portail de l'informatique théorique

[liu-1] Tie-Yan Liu, « Learning to Rank for Information Retrieval », Foundations and Trends in Information Retrieval, vol. 3, n^o 3,‎ 2009, p. 225–331 (ISBN 978-1-60198-244-5, DOI 10.1561/1500000016)

[2] Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012) Foundations of Machine Learning, The MIT Press (ISBN 9780262018258).

[Joachims2002-3] Joachims, T., « Optimizing Search Engines using Clickthrough Data », Proceedings of the ACM Conference on Knowledge Discovery and Data Mining,‎ 2002 (lire en ligne [archive du 29 décembre 2009], consulté le 11 novembre 2009)

[4] Joachims T. et Radlinski F., « Query Chains: Learning to Rank from Implicit Feedback », Proceedings of the ACM Conference on Knowledge Discovery and Data Mining,‎ 2005 (Bibcode 2006cs........5035R, arXiv cs/0605035, lire en ligne [archive du 27 juillet 2011], consulté le 19 décembre 2009)

[manning-q-eval-5] Manning C., Raghavan P. et Schütze H., Introduction to Information Retrieval, Cambridge University Press, 2008

[6] Broder A., Carmel D., Herscovici M., Soffer A. et Zien J., Proceedings of the twelfth international conference on Information and knowledge management, 2003, 426–434 p. (ISBN 978-1-58113-723-1, DOI 10.1145/956863.956944, S2CID 2432701, lire en ligne [archive du 21 mai 2009]), « Efficient query evaluation using a two-level retrieval process »

[Duh09-7] Kevin K. Duh, Learning to Rank with [sic]Labeled Data, 2009 (lire en ligne [archive du 20 juillet 2011])

[8] Yuanhua Lv, Taesup Moon, Pranam Kolari, Zhaohui Zheng, Xuanhui Wang, and Yi Chang, Learning to Model Relatedness for News Recommendation « https://web.archive.org/web/20110827065356/http://sifaka.cs.uiuc.edu/~ylv2/pub/www11-relatedness.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 27 août 2011, in International Conference on World Wide Web (WWW), 2011.

[9] M. Richardson, Prakash, A. et Brill, E. « Beyond PageRank: Machine Learning for Static Ranking » (2006) (lire en ligne, consulté le 18 novembre 2009) [archive du 15 août 2009]
— « (ibid.) », dans Proceedings of the 15th International World Wide Web Conference, p. 707–715

[10] « Archived copy » [archive du 4 janvier 2011] (consulté le 14 décembre 2009)

[11] Olivier Chapelle, Donald Metzler, Ya Zhang et Pierre Grinspan, Expected Reciprocal Rank for Graded Relevance, 2009 (lire en ligne [archive du 24 février 2012])

[12] Gulin A., Karpovich P., Raskovalov D. et Segalovich I., Yandex at ROMIP'2009: optimization of ranking algorithms by machine learning methods, 2009, 163–168 p. (lire en ligne [archive du 22 novembre 2009])

[13] Chris J. C. Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt Deeds, Nicole Hamilton et Greg Hullender, « Learning to Rank using Gradient Descent » [archive du 26 février 2021], 1^er août 2005 (consulté le 31 mars 2021)

[14] Taylor, M.J., Guiver, J., Robertson, S.E., & Minka, T.P. (2008). SoftRank: optimizing non-smooth rank metrics. Web Search and Data Mining.

[15] (en-US) Chris J. C. Burges, « From RankNet to LambdaRank to LambdaMART: An Overview », 23 juin 2010

[Fuhr1989-16] Norbert Fuhr, Optimum polynomial retrieval functions based on the probability ranking principle, vol. 7, 1989, 183–204 p. (DOI 10.1145/65943.65944 , S2CID 16632383), chap. 3

[Cooperetal1992-17] Cooper, William S., Gey, Frederic C. et Dabney, Daniel P., Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval - SIGIR '92, 1992, 198–210 p. (ISBN 978-0897915236, DOI 10.1145/133160.133199, S2CID 125993), « Probabilistic retrieval based on staged logistic regression »

[Bartelletal1994-18] Bartell, Brian T., Cottrell Garrison W. et Belew, Richard K., Sigir '94, 1994, 173–181 p. (ISBN 978-0387198897, DOI 10.1007/978-1-4471-2099-5_18, S2CID 18606472, lire en ligne [archive du 13 juin 2018]), « Automatic Combination of Multiple Ranked Retrieval Systems »

[19] Jerome H. Friedman, « Greedy Function Approximation: A Gradient Boosting Machine », The Annals of Statistics, vol. 29, n^o 5,‎ 2001, p. 1189–1232 (ISSN 0090-5364, DOI 10.1214/aos/1013203451, JSTOR 2699986, lire en ligne)

[20] Yunbo Cao, Jun Xu, Tie-Yan Liu, Hang Li, Yalou Huang et Hsiao-Wuen Hon, Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '06 », 6 août 2006, 186–193 p. (ISBN 978-1-59593-369-0, DOI 10.1145/1148170.1148205, lire en ligne), « Adapting ranking SVM to document retrieval »

[21] Jun Xu et Hang Li, Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '07 », 23 juillet 2007, 391–398 p. (ISBN 978-1-59593-597-7, DOI 10.1145/1277741.1277809, lire en ligne), « AdaRank: A boosting algorithm for information retrieval »

[22] Tao Qin, Xu-Dong Zhang, Ming-Feng Tsai, De-Sheng Wang, Tie-Yan Liu et Hang Li, « Query-level loss functions for information retrieval », Information Processing & Management, evaluating Exploratory Search Systems, vol. 44, n^o 2,‎ 1^er mars 2008, p. 838–855 (ISSN 0306-4573, DOI 10.1016/j.ipm.2007.07.016, lire en ligne)

[23] Jung Yi Lin, Jen-Yuan Yeh et Chao Chung Liu, 2012 IEEE International Conference on Computational Intelligence and Cybernetics (CyberneticsCom), IEEE, juillet 2012, 45–49 p. (ISBN 978-1-4673-0892-2, DOI 10.1109/cyberneticscom.2012.6381614, lire en ligne), « Learning to rank for information retrieval using layered multi-population genetic programming »

[pahikkala2009efficient-24] Tapio Pahikkala, Tsivtsivadze, Evgeni, Airola, Antti, Järvinen, Jouni et Boberg, Jorma, An efficient algorithm for learning to rank from preference graphs, vol. 75, 2009, 129–165 p. (DOI 10.1007/s10994-008-5097-z ), chap. 1

[25] C. Burges. (2010). From RankNet to LambdaRank to LambdaMART: An Overview « https://web.archive.org/web/20171110173101/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 10 novembre 2017.

[26] Fen Xia, Tie-Yan Liu, Jue Wang, Wensheng Zhang et Hang Li, Proceedings of the 25th international conference on Machine learning - ICML '08, New York, NY, USA, Association for Computing Machinery, 5 juillet 2008, 1192–1199 p. (ISBN 978-1-60558-205-4, DOI 10.1145/1390156.1390306, lire en ligne), « Listwise approach to learning to rank: Theory and algorithm »

[27] Jun Xu, Tie-Yan Liu, Min Lu, Hang Li et Wei-Ying Ma, Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval, New York, NY, USA, Association for Computing Machinery, coll. « SIGIR '08 », 20 juillet 2008, 107–114 p. (ISBN 978-1-60558-164-4, DOI 10.1145/1390334.1390355, lire en ligne), « Directly optimizing evaluation measures in learning to rank »

[28] Michael Taylor, John Guiver, Stephen Robertson et Tom Minka, Proceedings of the international conference on Web search and web data mining - WSDM '08, New York, NY, USA, Association for Computing Machinery, 11 février 2008, 77–86 p. (ISBN 978-1-59593-927-2, DOI 10.1145/1341531.1341544, lire en ligne), « SoftRank: Optimizing non-smooth rank metrics »

[29] Rong Jin, Hamed Valizadegan, Hang Li, Ranking Refinement and Its Application for Information Retrieval « https://web.archive.org/web/20120406214253/http://www.cs.pitt.edu/~valizadegan/Publications/ranking_refinement.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 6 avril 2012, in International Conference on World Wide Web (WWW), 2008.

[30] Massih-Reza Amini, Vinh Truong, Cyril Goutte, A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Labeled Data « https://web.archive.org/web/20100802093049/http://www-connex.lip6.fr/~amini/Publis/SemiSupRanking_sigir08.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 2 août 2010, International ACM SIGIR conference, 2008. The code « https://web.archive.org/web/20100723152841/http://www-connex.lip6.fr/~amini/SSRankBoost/ »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 23 juillet 2010 is available for research purposes.

[31] Leonardo Rigutini, Tiziano Papini, Marco Maggini, Franco Scarselli, "SortNet: learning to rank by a neural-based sorting algorithm" « https://web.archive.org/web/20111125100156/http://research.microsoft.com/en-us/um/beijing/events/lr4ir-2008/proceedings-lr4ir%202008.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 25 novembre 2011, SIGIR 2008 workshop: Learning to Rank for Information Retrieval, 2008

[32] Chenguang Zhu, Weizhu Chen, Zeyuan Allen Zhu, Gang Wang, Dong Wang et Zheng Chen, Proceedings of the 18th ACM conference on Information and knowledge management, New York, NY, USA, Association for Computing Machinery, coll. « CIKM '09 », 2 novembre 2009, 817–826 p. (ISBN 978-1-60558-512-3, DOI 10.1145/1645953.1646057, lire en ligne), « A general magnitude-preserving boosting algorithm for search ranking »

[33] Hamed Valizadegan, Rong Jin, Ruofei Zhang, Jianchang Mao, Learning to Rank by Optimizing NDCG Measure « https://web.archive.org/web/20120406214443/http://www.cs.pitt.edu/~valizadegan/Publications/NDCG_Boost.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 6 avril 2012, in Proceeding of Neural Information Processing Systems (NIPS), 2010.

[34] D. Sculley, Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining, New York, NY, USA, Association for Computing Machinery, coll. « KDD '10 », 25 juillet 2010, 979–988 p. (ISBN 978-1-4503-0055-1, DOI 10.1145/1835804.1835928, lire en ligne), « Combined regression and ranking »

[35] Joonseok Lee, Samy Bengio, Seungyeon Kim, Guy Lebanon et Yoram Singer, Proceedings of the 23rd international conference on World wide web, New York, NY, USA, Association for Computing Machinery, coll. « WWW '14 », 7 avril 2014, 85–96 p. (ISBN 978-1-4503-2744-2, DOI 10.1145/2566486.2567970, lire en ligne), « Local collaborative ranking »

[36] Osman Ali Sadek Ibrahim et Dario Landa-Silva, Proceedings of the Symposium on Applied Computing, New York, NY, USA, Association for Computing Machinery, coll. « SAC '17 », 3 avril 2017, 944–950 p. (ISBN 978-1-4503-4486-9, DOI 10.1145/3019612.3019696, lire en ligne), « ES-Rank: Evolution strategy learning to rank approach »

[ai2018learning-37] Ai, Qingyao, Bi, Keping, Jiafeng, Guo et Croft, W. Bruce, The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval, 2018, 135–144 p. (ISBN 9781450356572, DOI 10.1145/3209978.3209985 , arXiv 1804.05936, S2CID 4956076), « Learning a Deep Listwise Context Model for Ranking Refinement »

[38] Ori Davidov, Nir Ailon et Ivo F. D. Oliveira, « A New and Flexible Approach to the Analysis of Paired Comparison Data », Journal of Machine Learning Research, vol. 19, n^o 60,‎ 2018, p. 1–29 (ISSN 1533-7928, lire en ligne [archive du 3 octobre 2019], consulté le 17 septembre 2019)

[39] (en) Karlson Pfannschmidt, Pritha Gupta et Eyke Hüllermeier, « Deep Architectures for Learning Context-dependent Ranking Functions », 2018.

[40] Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank « https://web.archive.org/web/20190514175024/http://cs-people.bu.edu/fcakir/papers/fastap_cvpr2019.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 14 mai 2019

[10.1145/3341981.3344218-41] Ai, Qingyao, Wang, Xuanhui, Bruch, Sebastian, Golbandi, Nadav, Bendersky, Michael et Najork, Marc, Proceedings of the 2019 ACM SIGIR International Conference on Theory of Information Retrieval, 2019, 85–92 p. (ISBN 9781450368810, DOI 10.1145/3341981.3344218 , arXiv 1811.04415, S2CID 199441954), « Learning Groupwise Multivariate Scoring Functions Using Deep Neural Networks »

[42] (en) Michal Rolínek, Vít Musil, Anselm Paulus, Marin Vlastelica, Claudio Michaelis et al., « Optimizing Rank-based Metrics with Blackbox Differentiation », 18 mars 2020.

[43] (en) Marin Vlastelica, Anselm Paulus, Vít Musil, Georg Martius et Michal Rolínek, « Differentiation of Blackbox Combinatorial solvers », 4 décembre 2019

[44] Weiwen Liu, Qing Liu, Ruiming Tang, Junyang Chen, Xiuqiang He et Pheng Ann Heng, Proceedings of the 29th ACM International Conference on Information & Knowledge Management, Virtual Event, Ireland, Association for Computing Machinery, coll. « CIKM '20 », 19 octobre 2020, 925–934 p. (ISBN 978-1-4503-6859-9, DOI 10.1145/3340531.3412332, S2CID 224281012, lire en ligne [archive du 17 octobre 2021]), « Personalized Re-ranking with Item Relationships for E-commerce »

[10.1145/3397271.3401104-45] Pang, Liang, Xu, Jun, Ai, Qingyao, Lan, Yanyan, Cheng, Xueqi et Wen, Jirong, Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval, 2020, 499–508 p. (ISBN 9781450380164, DOI 10.1145/3397271.3401104, S2CID 241534531), « SetRank »

[46] Robin Swezey, Aditya Grover, Bruno Charron et Stefano Ermon, « PiRank: Scalable Learning To Rank via Differentiable Sorting », Advances in Neural Information Processing Systems, Virtual Event, Ireland, neurIPS '21, vol. 34,‎ 27 novembre 2021 (arXiv 2012.06731)

[Fuhr1992-47] Norbert Fuhr, Probabilistic Models in Information Retrieval, vol. 35, 1992, 243–255 p. (DOI 10.1093/comjnl/35.3.243 ), chap. 3

[48] Manning C., Raghavan P. et Schütze H., Introduction to Information Retrieval, Cambridge University Press, 2008

[49] Jan O. Pedersen. The MLR Story « https://web.archive.org/web/20110713120113/http://jopedersen.com/Presentations/The_MLR_Story.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 13 juillet 2011

[50] Modèle:US Patent

[51] « Bing Search Blog: User Needs, Features and the Science behind Bing » [archive du 25 novembre 2009] (consulté le 19 novembre 2009)

[snezhinsk-52] Yandex corporate blog entry about new ranking model "Snezhinsk" « https://web.archive.org/web/20120301165959/http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er mars 2012

[53] L'algorithme n'est pas dévoilé, mais quelques détails sont rendus publics dans [1] « https://web.archive.org/web/20100601171627/http://download.yandex.ru/company/experience/GDD/Zadnie_algoritmy_Karpovich.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er juin 2010 et [2] « https://web.archive.org/web/20100601171629/http://download.yandex.ru/company/experience/searchconf/Searchconf_Algoritm_MatrixNet_Gulin.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)}, 1^er juin 2010

[54] « Yandex's Internet Mathematics 2009 competition page » [archive du 17 mars 2015] (consulté le 11 novembre 2009)

[55] « Yahoo Learning to Rank Challenge » [archive du 1^er mars 2010] (consulté le 26 février 2010)

[56] Anand Rajaraman, « Are Machine-Learned Models Prone to Catastrophic Errors? » [archive du 1^er juillet 2012], 24 mai 2008 (consulté le 11 novembre 2009)

[57] Tom Costello, « Cuil Blog: So how is Bing doing? » [archive du 27 juin 2009], 26 juin 2009

[58] (en-US) « How Bloomberg Integrated Learning-to-Rank into Apache Solr | Tech at Bloomberg », Tech at Bloomberg,‎ 23 janvier 2017 (lire en ligne [archive du 1^er mars 2017], consulté le 28 février 2017)

[59] « Learning to Rank for Amazon OpenSearch Service - Amazon OpenSearch Service », sur docs.aws.amazon.com (consulté le 22 septembre 2023)

[60] « Elasticsearch Learning to Rank: the documentation — Elasticsearch Learning to Rank documentation », sur elasticsearch-learning-to-rank.readthedocs.io (consulté le 22 septembre 2023)

[Zhou_Niu_Wang_Zhang_2020-61] (en) Mo Zhou, Zhenxing Niu, Le Wang, Qilin Zhang et Gang Hua, « Adversarial Ranking Attack and Defense », 2020.

[Li_Ji_Liu_Hong_pp._4899–4908-62] Jie Li, Rongrong Ji, Hong Liu, Xiaopeng Hong, Yue Gao et Qi Tian, « Universal Perturbation Attack Against Image Retrieval », International Conference on Computer Vision (ICCV 2019),‎ 2019, p. 4899–4908 (arXiv 1812.00552, lire en ligne [archive du 6 juillet 2020], consulté le 4 juillet 2020)

[Madry_Makelov_Schmidt_Tsipras_2017-63] (en) Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras et Adrian Vladu, « Towards Deep Learning Models Resistant to Adversarial Attacks », 19 juin 2017.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

[56]

[57]

[58]

[59]

[60]

[61]

[62]

[63]