Noetic Search

Moteur de recherche par mots-clés dans les corpus audiovisuels numériques

Noetic Search est une application pour effectuer des recherches par mots-clé dans un ou plusieurs documents audiovisuels numériques.

L’application permet de générer les transcriptions textuelles des vidéos, de chercher des termes et des références dans ces transcriptions avec précision et d’en extraire des citations.

L’application est disponible à ce lien : https://noeticsearch.huma-num.fr/ 

Le développement de NoeticSearch est piloté par Anne Alombert (Université Paris 8), Michaël Bourgatte (Université de Lorraine) et Laurent Tessier (ICP), dans le cadre d’une collaboration entre le projet ArTeC “Ecologies dismédiatiques du numérique”, le projet OASIS (Open Audiovisual Science Innovation Schemes) et le projet HERMES (Heritage in the making : emerging strategies)

L’application NoeticSearch est développée par Context212.com et hébergée sur les serveurs d’Huma-Num. Le code de Noetic Search est libre et open source. Il est disponible sur GitHub Heritage.

Pour la transcription automatique, l’application s’appuie sur le modèle de langage de Mistral AI.

Organoesis  EUR ArTeC OSCARS MSH Paris Nord ICPUniversité Paris 8

 

1. Principe et objectif

L’outil Noetic Search constitue un moteur de recherche permettant aux utilisateurs d’effectuer une recherche par mots-clés dans une vidéo (et, à terme, dans un corpus de vidéo), à partir de la lecture de cette vidéo sur une plateforme de vidéos en ligne (en l’occurrence, Peertube).

Cet outil prend modèle sur le principe de la recherche par mots-clés dans les documents textuels, qui permet, grâce à une manipulation minimale (l’appui sur les touches CTRL F) d’avoir accès à une barre de recherche dans laquelle un mot-clé peut être tapé par l’utilisateur et toutes ces occurrences successives retrouvées, répertoriées et indiquées dans le document en question.

L’idée consiste à développer un outil analogue et aussi ergonomique, mais pour effectuer des recherches et naviguer par mots-clés dans un document audiovisuel.

La transcription automatique rendu possible par les avancées récentes dans le champ de l’IA rend la conception de cet outil abordable sans trop de difficulté.

2. Fonctionnalités

En termes de fonctionnalités, dans l’idéal l’outil pourrait offrir à l’utilisateur une barre de recherche dans laquelle il peut taper le mot recherché, et répertorierait toutes les occurrences (orales) de ce mot dans la vidéos (autrement dit, tous les moments où le mot apparaît dans la bande son de la vidéo ou est prononcé par l’une des personnes parlant dans la vidéo).

Les différentes occurrences du mot recherché pourraient être signalées à l’utilisateur de différentes manières, à discuter selon les possibilités techniques.

On pourrait imaginer qu’il lui soit signalés sous forme d’une liste chronologique de time-codes cliquables qui apparaîtrait dans un espace sur le côté de la vidéo par exemple. L’utilisateur pourrait cliquer sur chacun des times-codes et être ainsi reconduit automatiquement au moment de la vidéo durant lequel le mot qu’il cherche est prononcé. On pourrait également imaginer que ce soit la retranscription textuelle de la vidéo associée au time-code qui apparaisse. D’autres interfaces sont possibles, cela reste à discuter.

L’idée serait, éventuellement, par la suite d’étendre les capacités de l’outil ou de développer un autre outil analogue permettant d’effectuer les recherches sur des corpus de vidéos (et non plus sur une seule vidéo) : les interfaces de recherche et de réception des résultats devraient alors être modifiée en fonction.

3. Usages et publics

. Un outil essentiel pour la recherche en sciences humaines et sociales

Cet outil se destine principalement aux étudiant(e)s et aux chercheur(e)s en sciences humaines et sociales, écoutant des conférences ou des débats en ligne, qui sont parfois à la recherche d’une information ou d’une question précise, sans avoir le temps d’écouter toute la vidéo.

Aujourd’hui, il est impossible d’effectuer de telles recherches précises par mots-clés, alors même que le nombre de contenus vidéos en ligne dans les champs des sciences humaines et sociales ne cesse d’augmenter et que les chercheur(e)s ont de moins en moins de temps pour chercher.

Pensons, par exemple, à toutes les vidéos de cours mise en ligne par le Collège de France, qui constitue un corpus d’une richesse incroyable, qui demeure aujourd’hui très difficilement exploitable par les chercheur(e)s, qui n’ont pas le temps de tout écouter (on parle de plusieurs centaines/milliers d’heures d’écoutes).

. Un outil innovant pour les usages grand public

Par ailleurs, la généralisation d’un tel outil de recherche par mots-clés sur les plateformes de vidéos en ligne (comme Peertube) pourrait contribuer à la transformation des expériences d’écoute et visionnage du grand public, en permettant des (ré)écoutes et des (re)visionnage plus ciblés et plus actifs, les publics pouvant rechercher dans une vidéos les thématiques qui les intéressent, réécouter ou revoir et montrer à d’autres des passages spécifiques sur lesquels leur attention s’est arrêtée, etc.

Enfin, avec un outil capable d’effectuer des recherche par mots-clés non seulement dans une vidéo mais dans des corpus vidéos, une transformation bien plus importante encore des usages pourrait être envisagée : la recherche de vidéos elle-même (et non seulement la réception des vidéos) pourrait se voir transformée, dans la mesure où il deviendrait possible de rechercher non pas des vidéos de tel ou tel chercheur ou sur tel ou tel thème (en entrant le nom du chercheur ou du thème) mais des vidéos dans lesquelles sont évoquées tel et tel sujet, ce qui permettrait une recherche beaucoup plus fine et précise et des découvertes plus adaptées aux recherches.