Scholars Portal upgrades Dataverse platform and launches Data Curation Tool

  • Posted on: 5 November 2019
  • By: Sabina
Scholars Portal Dataverse

[la version française suit]
 
November 5, 2019

Scholars Portal is pleased to announce the upgrade of our research data repository Dataverse (http://dataverse.scholarsportal.info) to version 4.17.  With this upgrade, we are also launching the Data Curation Tool developed at Scholars Portal.

Data Curation Tool

The development of the Data Curation Tool (DCT) was funded by a CANARIE Research Data Management grant with the aims to enhance data curation workflows within Dataverse, to improve the ability for data reuse, and to support the application of standards and best practices. The DCT allows data owners and curators to create and edit metadata at the variable level for files that are uploaded through the tabular ingest process (e.g., SPSS, R, Excel, CSV) in Dataverse. Users of the DCT can view summary statistics and charts about their data. Edits are saved back to Dataverse and can be exported outside the platform.

Variable view in the Data Curation Tool user interface
The Data Curation Tool user interface



Development work for this tool included:

  • Building a new API for editing variable-level metadata
  • Development of the HTML DDI codebook export, with a goal to increase the reusability of datasets with a human-readable version of the DDI Codebook 2.5 metadata export
  • French translations from the University of Ottawa
  • Usability testing sessions and feedback from community testing, which has been used to improve the interface for the tool 
Variable Information edit view in the Data Curation Tool
Variable editor to add labels, groups, weights

Statistic view in the DCT
Summary statistics and charts

 For more information, see our Scholars Portal Dataverse blog post about the DCT. The code for the tool is available on GitHub.

Codebook exported from Dataverse
Example of a codebook exported from Dataverse

Improved Authentication

As another deliverable for the CANARIE project, Scholars Portal integrated Dataverse with Shibboleth for single sign-on through the Canadian Access Federation (CAF) Research and Scholarship (R&S) entity profile. CAF is an identity management service for Canadian research institutions run by CANARIE. Dataverse requires each user’s email, first name, last name, and affiliation, which are released under R&S but not the standard CAF profile. The R&S profile enables ease of collaboration between Dataverse as the service provider and institutions as the identity providers. Additionally, CAF’s vetting process ensures secure and trustworthy exchange of identity information.

For library administrators of institutional spaces, permissions can be assigned to datasets for users that have been authenticated through Shibboleth, thereby ensuring that data with restrictions is only accessible to validated users from their institution. For Dataverse users, this means a simpler log-in process with one less username and password to remember.

In this release, institutions participating in the R&S entity profile will automatically be able to begin using this integration. Activating the R&S entity profile is free and can be initiated through your institution’s central campus IT. Workflows for non-participating institutions will continue to use the regular email/password login workflow, although new users will need to validate their email address.

 

New login page that includes a dropdown for "your institution"
New "log in" page


 

Other release features

This release also incorporates a number of features and improvements:

  • Performance enhancements (optimizing memory load and Solr indexing)
  • Ability to add and edit the file hierarchy; view files in list and tree views
  • Ability to filter and sort the files within a dataset
  • Better categorization of file types
  • Redesign of metrics view at dataset and file level
  • Accessibility fix for pop-up windows/dialog boxes for keyboard users
  • OpenAIRE-compliant exports

For more details about what’s included in the current release, see the official release notes from Harvard. Scholars Portal Dataverse is currently using version 4.10.1, so release notes from each version leading up to 4.17 will apply. Stay tuned to our Dataverse blog for future updates about the other development work and plans for future releases.
 
###
 
About Scholars Portal
 
Scholars Portal is a service of the Ontario Council of University Libraries (OCUL), hosted through the University of Toronto Libraries. The Scholars Portal technological infrastructure preserves and provides access to information resources collected and shared by Ontario’s 21 university libraries. Through Scholars Portal online services, Ontario’s university students, faculty and researchers have access to an extensive and varied collection of scholarly content and datasets. Scholars Portal continues to respond to the research needs of Ontario universities through the creation of innovative information services and by working to ensure access to and preservation of this wealth of information.
 
About Dataverse
 
Dataverse is an open-source data repository platform, developed by the Institute of Quantitative Social Science (IQSS), Harvard University, and community contributors from around the world. Since 2012, OCUL provides Ontario universities with a hosted Dataverse instance through Scholars Portal.
 
For questions or feedback about the new Scholars Portal Dataverse please contact the Scholars Portal Dataverse Team at dataverse [at] scholarsportal.info
 
 ###
 

Scholars Portal met à niveau la plateforme Dataverse et lance un outil de curation de données

 
le 5 novembre 2019

Scholars Portal est fier d’annoncer la mise à niveau de son dépôt de données de recherche, Dataverse (http://dataverse.scholarsportal.info), avec la publication de la version 4.17. Cette mise à niveau permet également le lancement de l’Outil de curation de données (OCD) développé par Scholars Portal.

Outil de curation des données

Le développement de l’OCD est financé par une subvention de CANARIE dans le cadre de son programme de gestion des données de recherche (GDR). Cet investissement a pour but d’améliorer le traitement et la conservation des données dans Dataverse, d’améliorer la réutilisation de données et de soutenir l’application des normes et des meilleures pratiques. L’OCD permet aux propriétaires de données et aux intendants de créer et de modifier les métadonnées à l’échelle des variables pour les fichiers téléversés au moyen de l’importation de données tabulaires (p. ex., SPSS, R, Excel, CSV) dans Dataverse. Les utilisateurs de l’OCD peuvent voir un sommaire des statistiques et des graphiques de leurs données. Les modifications sont enregistrées dans Dataverse et peuvent être exportées à l’extérieur de la plateforme.

 

L'interface de l'outil de curation des données
L'interface d'utilisation de l'outil de curation des données



Le développement de l’outil comprend :

  • La conception d’une nouvelle API pour la modification des métadonnées des variables;
  • Le développement de l’exportation HTML du guide de codification DDI, avec pour objectif une réutilisation accrue des ensembles de données grâce à une version lisible pour l’utilisateur des métadonnées du guide de codification DDI 2.5 exporté;
  • Une traduction française par l’Université d’Ottawa; et
  • Des séances de tests d’utilisation et les commentaires de la communauté de test, pour améliorer l’interface de l’outil.

Éditeur de variables
Éditeur de variables pour ajouter des étiquettes, groupes, pondérations

Sommaire des statistiques 
Sommaire des statistiques et graphiques



Pour plus de renseignements, consultez le billet du blogue de Dataverse de Scholars Portal sur l’OCD (en anglais). Le code de l’outil se trouve sur GitHub.
 
Un guide de codification
Exemple d'un guide de codification exporté depuis Dataverse

Authentification améliorée

Une autre composante du projet CANARIE, Scholars Portal intègre Shibboleth à Dataverse, offrant ainsi une connexion unique au moyen de la catégorie Research and Scholarship (R&S) de la Fédération canadienne d’accès (FCA). La FCA est un service de gestion des identités pour les établissements de recherche au Canada exploités par CANARIE. Dataverse requiert le courriel, le prénom, le nom de famille et l’affiliation des utilisateurs, qui sont diffusés avec la catégorie R&S plutôt que le profil standard de la FCA. Le profil R&S facilite la collaboration entre Dataverse, en tant que fournisseur de services, et les établissements fournissant les identifiants. De plus, le processus de validation de la FCA garantit l’échange sécuritaire et fiable des renseignements sur l’identité.

Pour les administrateurs en bibliothèque des espaces institutionnels, les permissions peuvent être assignées aux ensembles de données pour les utilisateurs authentifiés par Shibboleth, ce qui assure que les données avec restrictions ne sont accessibles qu’aux utilisateurs autorisés dans l’établissement. Pour les utilisateurs de Dataverse, cela signifie un processus de connexion avec un seul identifiant et mot de passe à se rappeler.

Avec la mise à niveau, les établissements participants à la catégorie R&S pourront automatiquement commencer à utiliser cette intégration. L’activation de la catégorie R&S est gratuite et peut être demandée par le service des TI centraux de votre campus. Les utilisateurs des établissements non participants continueront de se connecter avec un courriel et mot de passe; les nouveaux utilisateurs devront toutefois valider leur adresse courriel.

 

La page de connexion
Nouvelle page de connexion


 

Autres fonctionnalités de la mise à niveau

Cette version comporte également les fonctionnalités et améliorations suivantes :

  • Amélioration de la performance (optimisation de la charge mémoire et indexation Solr)
  • Capacité d’ajouter et de modifier la structure des fichiers; voir les fichiers sous forme de liste et d’arborescence
  • Capacité de filtrer et de trier les fichiers au sein d’un ensemble de données
  • Meilleure catégorisation des types de fichiers
  • Nouveau design de la visualisation des métriques pour les ensembles de données et les fichiers
  • Correction de l’accessibilité pour les fenêtres/boîtes de dialogue surgissantes pour les utilisateurs de clavier
  • Exportation conforme à OpenAIRE

Pour de plus amples détails sur ce que comprend la dernière version, consultez les notes techniques officielles de Harvard (en anglais). Dataverse de Scholars Portal est actuellement à la version 4.10.1; les notes techniques de chaque version jusqu’à la version 4.17 s’appliqueront. Consultez notre blogue Dataverse pour les prochains développements et les plans des prochaines versions.

##

À propos de Scholars Portal
Scholars Portal est un service du Conseil des bibliothèques universitaires de l’Ontario (CBUO), hébergé par les bibliothèques de l’Université de Toronto. L’infrastructure technologique de Scholars Portal assure la préservation des ressources d’information amassées et partagées par les 21 bibliothèques universitaires de l’Ontario tout en y garantissant l’accès continu. Au moyen des services en ligne de Scholars Portal, les étudiants, les professeurs et les chercheurs des universités de l’Ontario ont accès à des collections vastes et diversifiées de documents et d’ensembles de données de recherche. Scholars Portal continue de répondre aux besoins de recherche des universités de l’Ontario par la création de services d’information novateurs et en veillant à assurer l’accès et la préservation de cette richesse.

À propos de Dataverse
Dataverse est une plateforme libre de dépôt de données développée par l’Institute of Quantitative Social Science (IQSS), Harvard University, et une communauté de contributeurs de partout dans le monde. Depuis 2012, le CBUO offre aux universités de l’Ontario, une instance hébergée de Dataverse par l’entremise de Scholars Portal.

Pour toute question ou tout commentaire concernant le nouveau Dataverse de Scholars Portal, veuillez communiquer avec dataverse [at] scholarsportal.info.