Le routage en ASP.NET Core en 5 min

Quand on utilise la technologie ASP.NET Core pour implémenter une application web, il est possible d’utiliser le middleware et le pattern MVC (i.e. Model-View-Controler) pour organiser les classes qui répondront aux différentes requêtes HTTP. ASP.NET Core permet de router les requêtes vers les bonnes instances d’objets à condition que le “routage” soir configuré. Dans le cadre de MVC, cette fonctionnalité de “routage” (i.e. routing) va ainsi permettre de trouver le controller et l’action dans le controller qui sera évoquée en fonction de l’adresse web de la requête HTTP.

Le but de cet article n’est pas de paraphraser la documentation mais d’être un aide-mémoire sur les principales caractéristiques du routage. La documentation de Microsoft permet d’avoir des détails plus exhaustifs sur tous les aspects du routage.

Source: reddit.com/r/InfrastructurePorn

Fonctionnement général

Lorsqu’une requête HTTP est adressée à une application web ASP.NET Core, elle traverse différentes couches de l’application en utilisant le pipeline de middlewares. Ces middlewares sont évoqués successivement et permettent d’adresser différents points techniques liés à la requête comme par exemple la gestion d’erreurs, la gestion des cookies, l’authentification, la gestion de sessions etc… L’exécution successive des différents middlewares aboutira le cas échéant à créer une réponse à la requête. Le routage est l’un de ces middlewares.

Après avoir exécuté les middlewares précédents, la requête parvient au middleware routing (correspond aux classes dans le namespace Microsoft.AspNetCore.Routing) qui va effectuer les étapes suivantes:

  • Parser l’URL pour déterminer les différents paramètres de la requête.
  • En fonction des paramètres, trouver la route parmi les différentes routes configurées qui permettra de répondre à la requête.
  • Si une route est trouvée alors la requête est passée à une classe satisfaisant IRouteHandler (dans Microsoft.AspNetCore.Routing). Par défaut, la classe RouteHandler.
  • Si aucune route n’est trouvée, la requête est passée au middleware suivant.

Ainsi, le middleware routing est composé de différents objets:

  • Les routes (la classe correspondante est Route): elles définissent les différentes chemin de routage que pourrait emprunter la requête.
    Par exemple, une route pourrait être définie en utilisant l’expression:

    "{controller=Home}/{action=Index}/{id?}"
    
  • Une liste de routes (i.e. route collection): les routes sont testées successivement parmi cette liste pour déterminer qu’elle est la première qui convient. Si une route convient aux paramètres de la requête, les routes suivantes ne sont pas testées.
  • IRouter: la classe satisfaisant cette interface va être appelée pour déterminer quelle classe va traiter la requête pour en générer une partie de la réponse. Dans le cas d’une application ASP.NET Core MVC, le route handler, par défaut, est la classe MvcRouteHandler.

    Cette classe va chercher le controller et l’action dans le controller à évoquer pour générer une réponse.

Ces différents objets doivent être configurés pour que le routage s’effectue correctement.

Configurer les routes

Routage basique

Pour configurer un routage par défaut, il faut d’abord ajouter les services MVC pour indiquer que l’application ASP.NET Core utilisera ce pattern dans la classe Startup servant à la configuration initiale:

public class Startup 
{ 
  public void ConfigureServices(IServiceCollection services) 
  { 
     services.AddMvc().SetCompatibilityVersion(CompatibilityVersion.Version_2_2); 
     // ...
  } 
}

SetCompatibilityVersion(CompatibilityVersion.Version_2_2) permet d’indiquer qu’on utilise une logique de routage compatible avec celle d’ASP.NET Core 2.2.

On indique ensuite, qu’on souhaite utiliser le middleware de routage et on l’ajoute au pipeline de middleware avec la ligne:

public class Startup 
{ 
  public void Configure(IApplicationBuilder app) 
  { 
      app.UseMvc();
  } 
} 

UseMvc() ajoute le middleware de routage mais ne configure aucune route. Pour configurer une route par défaut, il faut utiliser la méthode (on explicitera par la suite quelle est la route par défaut):

app.UseMvcWithDefaultRoute(); 

Les 2 ajouts sont nécessaires services.AddMvc() et app.UseMvc().

Template d’une route

Par défaut, dans le cadre de MVC, une route se définit en indiquant un template. Ce template contient des indications concernant:

  • Le controller qui implémente le code permettant de construire la réponse à la requête,
  • L’action c’est-à-dire la fonction dans le controller qui sera exécutée pour générer la réponse,
  • Eventuellement des arguments nécessaires à l’exécution de l’action.

De façon générique, une route se définit en indiquant les différents éléments successivement:

"{controller}/{action}/{id}" 

L’utilisation de { } permet d’indiquer qu’un élément n’a pas une valeur fixe.

Par exemple, le template de la route définie précédemment sera utilisée si l’adresse appelée est du type:

pizzaOrder/get/23 

Dans ce cas:

  • {controller} est égal à pizzaOrder,
  • {action} est égal à get et
  • {id} est égal à 23

Elément à valeur fixe

On peut indiquer qu’un élément de l’adresse a une valeur fixe. Par exemple, si le template de la route est:

admin/{controller}/{action}/{id} 

admin est fixe et toutes les adresses devront commencer par admin pour être prise en compte par la route. Par exemple:

admin/pizzaOrder/get/23 

Elément facultatif

On peut indiquer qu’un élément est facultatif en utilisant ?, par exemple:

"{controller}/{action}/{id?}" 

Cette route correspond à des adresses du type:

pizzaOrder/list 
pizzaOrder/list/12

Element par défaut

Si un élément n’est pas précisé, alors la valeur par défaut sera utilisée. Pour préciser la valeur par défaut, il faut utiliser le caractère =<valeur par défaut>, par exemple:

"{controller}/{action=index}/{id?}" 

Dans ce cas, l’action par défaut sera index.

Si on utilise l’adresse:

pizzaOrder 

L’adresse équivalente sera: pizzaOrder/index (l’élément id étant facultatif).

Mise à part controller, action d’autres mots clés peuvent désigner des éléments précis dans l’application ASP.NET Core comme area, handler et page.

Template par défaut

Si on utilise app.UseMvcWithDefaultRoute() dans StartUp.Configure(), le template par défaut utilisé est:

"{controller=Home}/{action=Index}/{id?}" 

Ajouter une route

L’ajout explicite d’une route se fait en utilisant l’une des surcharges suivantes dans StartUp.Configure():

app.UseMvc(routes => {
  routes.MapRoute("<nom unique de la route>",  "<template de la route>");
}); 

Par exemple:

public class Startup 
{ 
  public void Configure(IApplicationBuilder app) 
  { 
      app.UseMvc(routes => {    
         routes.MapRoute("default",  "{controller}/{action=index}");
     }); 
  } 
} 

D’autres surcharges sont possibles:

  • Pour indiquer que des éléments sont fixes:
    routes.MapRoute("Home", "{home}", new { Controller = "Home", Action = "Index" }); 
    

    Dans ce cas, la route nommée "Home" contient le template "{home}" désignant le controller HomeController et l’action Index.

  • Pour préciser des éléments par défaut:
    routes.MapRoute("Home", "{controller}/{action}", 
        defaults: new { Controller = "Home", Action = "Index" }); 
    

    Le template de la route est "{controller}/{action}" et les valeurs par défaut sont "Home" pour le controller et "Index" pour l’action.

  • Pour préciser des contraintes sur les éléments:
    routes.MapRoute("Home", "{controller}/{action}",  
       defaults: new { Controller = "Home", Action = "Index" }, 
       constraints: new { id = new IntRouteConstraint() }); 
    

    La contrainte impose que l’élément id doit être un entier.

  • D’autres contraintes existent comme:
    • Pour imposer une contrainte sur le type: BoolRouteConstraint, DateTimeRouteConstraint, DecimalRouteConstraint, DoubleRouteConstraint, GuidRouteContraint, FloatRouteConstraint ou LongRouteConstraint.
    • Pour imposer une contrainte sur la longueur d’une chaîne de caractères: MinLengthRouteConstraint ou MaxLengthConstraint
    • Pour imposer une contrainte sur une valeur: MinRouteConstraint, MaxRouteConstraint ou RangeRouteConstraint.
    • Pour imposer une contrainte avec une regex: RegexInlineRouteConstraint.
Ordre d’ajout des routes

L’ordre d’ajout des routes est important puisque le parcours des routes dans la liste de routes se fera dans l’ordre d’ajout de celles-ci.

Contrainte sur un élément d’une route

Il est possible d’indiquer des contraintes concernant un élément dans le template d’une route. Par exemple, si on considère le template de route suivant:

"{controller}/{action}/{id}" 

Si on souhaite ajouter des contraintes sur le paramètre id, il faut utiliser la syntaxe suivante:

"{controller}/{action}/{id:<contrainte 1>:<contrainte 2>:<etc...>}" 

On peut utiliser le caractère ? pour indiquer que le paramètre id est facultatif:

"{controller}/{action}/{id:<contrainte 1>:<contrainte 2>:<etc...>?}" 

Par exemple pour indiquer que le paramètre id doit être de type entier, on utilise la syntaxe:

"{controller}/{action}/{id:int}" 

Contraintes de type

Pour contraindre le type d’un paramètre, on peut utiliser les syntaxes suivantes:

Entier {id:int}
Alphabétique (caractères de A à Z et a à z seulement) {id:alpha}
bool {id:bool}
DateTime {id:datetime}
decimal {id:decimal}
double {id:double}
GUID {id:guid}
float {id:float}

Contraintes de valeurs

Pour contraindre un paramètre à avoir des valeurs dans un intervalle spécifique:

Chaine de caractères d’une longueur minimum (par exemple 5 caractères) {id:minlength(5)}
Chaine de caractères d’un longueur maximum (par exemple 10 caractères) {id:maxlength(10)}
Chaine de caractères de longueur spécifique (par exemple 7 caractères) {id:length(7)}
Chaine de caractères de longueur bornée (par exemple comprise entre 4 et 9 caractères) {id:length(4, 9)}
Entier supérieur ou égal (par exemple 5) {id:min(5)}
Entier inférieur ou égal (par exemple 14) {id:max(14)}
Entier compris dans un interval borné (par exemple entre 3 et 9) {id:range(3, 9)}

Contrainte avec une regex

Pour contraindre un paramètre à respecter une regex:

"{id:regex(<regex>)}" 

Par exemple:

"{id:regex(^2019$)}" 

Il faut utiliser des caractères d’échappement quand on utilise \,{, }, [ ou ]. Par exemple la regex ^\d{5}$ doit s’écrire:

"{id:regex(^\\d{{5}}$)}" 

Définition des routes avec des attributs

Il n’est pas obligatoire de préciser des routes en utilisant un template comme dans le paragraphe précédent. On peut utiliser des attributs placés sur:

  • un controller et/ou
  • une action d’un controller

Pour définir les routes par attributs, il faut utiliser la fonction suivante dans StartUp.Configure():

public class Startup 
{ 
  public void Configure(IApplicationBuilder app) 
  { 
       app.UseMvc();
  } 
} 

RouteAttribute

Au niveau d’un controller

L’attribut RouteAttribute peut être utilisé au niveau d’un controller pour définir une route:

[Route("PizzaOrder")]
public class PizzaOrderController : Controller 
{ 
    // ... 
} 

Ce controller sera appelé dès que l’adresse commence par PizzaOrder.

Au niveau d’une action

RouteAttribute peut aussi être utilisé au niveau d’une action:

[Route("PizzaOrder")] 
public class PizzaOrderController : Controller 
{ 
  [Route("Index")]
  public IActionResult Index()  
  { 
        // ... 
  } 
} 

L’action sera appelée si l’adresse est: PizzaOrder/Index.

Utilisation de “tokens” de remplacement

On peut utiliser des tokens pour éviter d’avoir à préciser le nom du controller ou de l’action. Au lieu d’indiquer le nom du controller ou de l’action, on utilise:

  • [controller] pour désigner le nom du controller
  • [action] pour désigner le nom de l’action.
  • [area] pour indiquer le nom de la zone.

Par exemple:

[Route("[controller]")]
public class PizzaOrderController : Controller 
{ 
   [Route("[action]")]
   public IActionResult Index()  
   { 
      // ... 
   } 
} 

On peut aussi tout préciser directement au niveau du controller:

[Route("[controller]/[action]")]
public class PizzaOrderController : Controller 
{ 
    public IActionResult Index()  
    { 
       // ... 
    } 
} 

La définition des routes se combinent

Les attributs utilisés au niveau d’un controller et d’une action se combinent toutefois il est aussi possible d’utiliser plusieurs attributs au même niveau. Par exemple si on indique:

[Route("PizzaOrder")]
public class PizzaOrderController : Controller 
{ 
    [Route("")]  
    [Route("Index")]  
    [Route("/")]
    public IActionResult Index()  
    { 
       // ... 
   }
} 

L’action Index() est appelée si pour les adresses:

  • PizzaOrder à cause de [Route("PizzaOrder")] et [Route("")]
  • PizzaOrder/Index à cause de [Route("PizzaOrder")] et [Route("Index")]
  • "" (ou rien) à cause de [Route("PizzaOrder")] et [Route("/")]

HttpGetAttribute, HttpPostAttribute, HttpPutAttribute et HttpDeleteAttribute

Dans le cadre d’une API REST (i.e. REpresentational State Transfer) on utilise les verbes HTTP pour effectuer les requêtes comme:

  • GET pour effectuer des opérations de lecture sur une ressource,
  • POST pour créer une ressource,
  • PUT pour mettre à jour une ressource et
  • DELETE pour supprimer une ressource.

Il est possible d’utiliser les attributs suivants pour définir des routes correspondant aux requêtes contenant les verbes HTTP:

Ces attributs sont à utiliser au niveau des actions:

[Route("PizzaOrder")]
public class PizzaOrderController : Controller 
{ 
   [HttpGet("")]
   public IActionResult ListOrders()  
   { 
       // ... 
   } 

   [HttpGet("{id}")]
   public IActionResult GetOrder(int id)  
   { 
       // ... 
   } 

   [HttpPost("")]
   public IActionResult CreateOrder(Order newOrder)  
   { 
       // ... 
   } 
} 

Dans ce cas, l’utilisation de ces attributs permet de différencier les actions à appeler même dans le cas où les adresses sont les mêmes, par exemple:

  • Requête GET à l’adresse PizzaOrder appelera l’action ListOrders() à cause de [Route("PizzaOrder")] et [HttpGet("")].
  • Requête GET à l’adresse PizzaOrder/23 appelera l’action GetOrder() à cause de [Route("PizzaOrder")] et [HttpGet("{id}")].
  • Requête POST à l’adresse PizzaOrder appelera l’action CreateOrder() à cause de [Route("PizzaOrder")] et [HttpPost("")].
Utiliser des contraintes

Il est possible d’utiliser des contraintes sur les paramètres utilisés avec les attributs comme pour les templates de route.

Par exemple, pour contraindre le paramètre id à être entier et à être compris entre 4 et 9:

[HttpGet("{id:int:range(4,9)}")]  
public IActionResult GetOrder(int id)  
{ 
   // ... 
} 

Exemples

Pour mettre en application le routage, on se propose de créer une Web Api.

Installation de .NET Core sur Linux

Pour installer .NET Core sur Debian, il faut suivre les étapes suivantes:

Il faut ensuite générer un squelette de Web Api en exécutant la commande:

user@debian:~/% dotnet new webapi --name webapi_example

Pour avoir Swagger et requêter facilement la Web API, on peut ajouter le package NuGet Swashbuckle.AspNetCore en exécutant la commande suivante:

user@debian:~/% dotnet add webapi_example/webapi_example.csproj package swashbuckle.aspnetcore

Pour configurer Swashbuckle, il faut ajouter les lignes suivantes dans StartUp.cs:

public class Startup 
{ 
  public void ConfigureServices(IServiceCollection services) 
  { 
    services.AddSwaggerGen(c => 
    { 
        // Permet de préciser de la documentation 
        c.SwaggerDoc("v1", new Info { Title = "My API", Version = "v1" }); 
    });
  } 
  
  public void Configure(IApplicationBuilder app, IHostingEnvironment env) 
  { 
    app.UseSwagger(); 
  
    app.UseSwaggerUI(c => 
    { 
        c.SwaggerEndpoint("/swagger/v1/swagger.json", "My simple API V1"); 
    });
  } 
} 

On ajoute les controllers suivants dans le répertoire Controllers:

On ajoute les services suivants après avoir créé le répertoire Services:

On enregistre les services dans le container d’injection de dépendances en ajoutant ces lignes dans StartUp.ConfigureServices():

public class Startup 
{ 
    public void ConfigureServices(IServiceCollection services) 
    { 
        services.AddSingleton<IPizzaFlavourRepositoryService>(new PizzaFlavourRepositoryService()); 
        services.AddSingleton<IPizzaOrderRepositoryService, PizzaOrderRepositoryService>(); 
    } 
} 
} 

On lance la compilation et l’exécution en exécutant successivement les lignes:

user@debian:~/% cd webapi_example
user@debian:~/webapi_example/% dotnet build
user@debian:~/webapi_example/% dotnet run

On se connecte ensuite, avec un browser à l’adresse: http://localhost:5000/swagger/index.html.

Il est, ainsi, possible de requêter les fonctions des controllers PizzaFlavour et PizzaOrder avec Swagger.

Le code de cet exemple se trouve dans le repository GitHub suivant: https://github.com/msoft/webapi_example.

Routage avec des attributs

L’exemple dans la branche principale permet d’illustrer le routage avec attributs:

  • Avec les attributs RouteAttribute et ApiControllerAttribute sur les controllers par exemple:
    [Route("api/[controller]")] 
    [ApiController]
    public class PizzaOrderController : ControllerBase 
    { 
        // ... 
    } 
    
  • Avec les attributs HttpGetAttribute, HttpDeleteAttribute et HttpPostAttribute sur les functions correspondant aux actions, par exemple:
    [HttpGet]
    public ActionResult<IEnumerable<OrderedPizza>> GetOrderedPizzas() 
    { 
        // ... 
    } 
    
    [HttpPost("{pizzaFlavour}")]
    public ActionResult<int> AddNewOrder(string pizzaFlavour) 
    { 
        // ... 
    }
    

Routage avec template

La branche “usingRoutes” contient un exemple de routage en utilisant un template. Dans Startup.Configure(), on définit quelques templates:

app.UseMvc(routes => { 
    routes.MapRoute("secure", "secure", new { Controller = "Admin", Action="GetOrders"});  
    routes.MapRoute("admin", "{Controller=Admin}/{Action}/{id?}");  
    routes.MapRoute("default", "api/{Controller=PizzaOrder}/{Action=GetOrders}/{id?}"); 
}); 

Ainsi:

  • La route "secure" permet d’appeler toujours le controller AdminController avec l’action GetOrders. Pour l’invoquer il suffit d’effectuer une requête GET à l’adresse: http://localhost:5000/secure
  • La route "admin" permet de définir une route plus générale pour appeler le controller AdminController. Par exemple pour appeler l’action DeleteOrder, il faut effectuer une requête GET à l’adresse http://localhost:5000/admin/DeleteOrder/1
  • La route "default" définit une route plus générale pour appeler les controllers PizzaFlavourController et PizzaOrderController.

    Par exemple pour appeler l’action FindFlavour dans le controller PizzaFlavourController, il faut effectuer une requête GET à l’adresse http://localhost:5000/PizzaFlavour/FindFlavour/Regina

Utiliser cURL ou postman

Dans cet exemple, pour illustrer l’utilisation des templates, on a supprimé les attributs dans les controller AdminController et PizzaFlavourController. A cause de cette suppression, les fonctions ne sont plus visibles dans Swagger toutefois elles sont toujours fonctionnelles. Pour les invoquer, il faut utiliser:

  • cURL: par exemple exécutant à la ligne de commandes:
    curl -X GET "http://localhost:5000/PizzaFlavour/FindFlavour/Regina" -H  "accept: text/plain"
  • postman

Définir un route handler spécifique

On peut implémenter un routage plus personnalisé en implémentant une classe satisfaisant IRouter:

namespace Microsoft.AspNetCore.Routing 
{ 
    public interface IRouter 
    { 
        VirtualPathData GetVirtualPath(VirtualPathContext context); 
        Task RouteAsync(RouteContext context); 
    } 
} 

Dans la classe:

  • GetVirtualPath() permet de générer des url en fonction d’une route.
  • RouteAsync() permet d’indiquer un routage particulier en fonction d’une logique implémentée.

Dans l’exemple, l’implémentation de la classe satisfaisant IRouter est:

public class CustomRouter : IRouter 
{ 
    private IRouter _defaultRouter; 
    public CustomRouter(IRouter defaultRouter) 
    { 
        _defaultRouter = defaultRouter; 
    } 

    public VirtualPathData GetVirtualPath(VirtualPathContext context) 
    { 
        return _defaultRouter.GetVirtualPath(context); 
    } 

    public async Task RouteAsync(RouteContext context) 
    { 
         var path = context.HttpContext.Request.Path.Value; 

         if (path.Contains("admin")) 
         { 
             context.RouteData.Values["controller"] = "Admin"; 
             context.RouteData.Values["action"] = "GetOrders"; 

             await _defaultRouter.RouteAsync(context); 
         } 
    } 
} 

Cette classe va invoquer le controller AdminController si l’URL contient "admin".

Pour que cette classe soit prise en compte, il faut le configurer dans Startup.Configure() en précisant une autre route par défaut:

app.UseMvc(routes => 
{ 
    routes.Routes.Add(new CustomRouter(routes.DefaultHandler));
    routes.MapRoute( 
        name: "default", 
        template: "{controller=Home}/{action=Index}/{id?}"); 
}); 
A partir d’ASP.NET Core 2.2

Le middleware permettant d’effectuer le routage n’est plus le même à partir d’ASP.NET Core 2.2. Jusqu’à ASP.NET Core 2.1, le routage de l’URL vers le controller et l’action était effectué au niveau du middleware MVC. A partir d’ASP.NET Core 2.2, le routage est fait plus en amont et avant l’exécution du middleware MVC dans le pipeline, il est effectué par un middleware spécial appelé “Endpoint Routing”.

Comme on peut voir sur les schémas suivants:

ASP.NET Core ≤ 2.1 ASP.NET Core ≥ 2.2
Source: rolandguijt.com
Source: rolandguijt.com

Ainsi, à partir d’ASP.NET Core 2.2, il faut ensuite désactiver le routage par point de terminaison pour que le routage s’effectue avec IRouter avec la ligne suivante:

public void ConfigureServices(IServiceCollection services) 
{ 
    services.AddMvc(options => options.EnableEndpointRouting = false)
        .SetCompatibilityVersion(CompatibilityVersion.Version_2_2); 
 
    // ... 
} 
Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Importer des modules externes en Typescript

Le but de cet article est d’illustrer l’import de bibliothèques externes Javascript dans du code Typescript. Il fait suite à un article précédent qui expliquait comment on pouvait séparer le code Typescript en modules (cf. Les modules en Typescript en 5 min).

Le compilateur Typescript permet de générer du code Javascript exécutable sur tous les browsers. Un des gros intérêts d’implémenter en Typescript est d’abord d’avoir un typage fort et ensuite de permettre au compilateur d’effectuer une vérification syntaxique. Le code Javascript généré est ainsi plus robuste puisque une vérification des types a déjà été effectuée à la compilation.

L’écosystème Javascript est très riche en bibliothèques. Ces bibliothèques sont couramment utilisées pour enrichir une application Javascript. Toutefois la plupart d’entre elles ne sont pas implémentées en Typescript. Heureusement il existe quelques méthodes pour utiliser ces bibliothèques Javascript et continuer à tirer partie des avantages de la compilation Typescript. Dans cet article, on va présenter quelques méthodes les plus courantes.


Dans un premier temps, on va indiquer la solution utilisée pour permettre l’import de bibliothèques externes au niveau de la syntaxe Typescript. Dans un 2e temps, on indiquera les méthodes les plus courantes pour mettre en pratique cette solution.

Préambule

Avant de rentrer dans les détails, on va expliquer comment il est possible d’importer du code Javascript dans du code Typescript.

Mot-clé “declare”

Comme on l’a indiqué plus haut, le compilateur Typescript effectue une vérification des types des objets. Le type de tous les objets ainsi que celui les dépendances sont vérifiés, il devient alors plus compliqué d’importer du code Javascript qui n’est pas obligatoirement fortement typé. Pour palier à ce problème, le mot-clé declare permet de déclarer des variables ne provenant pas de code Typescript. Il donne ainsi la possiblité d’introduire dans du code Typescript, des types provenant de code Javascript. Le compilateur n’ira pas effectuer des vérifications dans le code Javascript, toutefois il prendra en compte le type déclaré pour vérifier le code Typescript.

Par exemple si on écrit:

declare var externalLibrary; 

On peut introduire une variable nommée externalLibrary de type any qui pourra être utilisée dans le code Typescript comme si on l’avait déclaré de cette façon:

var externalLibrary: any; 

Le code Javascript généré est le même, toutefois utiliser declare permet d’indiquer qu’il s’agit de l’import d’un objet défini de façon externe.

Il faut avoir à l’esprit que declare permet seulement d’indiquer au compilateur le type d’une variable sans explicitement indiquer l’implémentation. Il part du principe que l’implémentation Javascript correspondante devra être fournie à l’exécution.
Ainsi en fonction des déclarations de types indiquées avec declare, le compilateur ne fera que vérifier la syntaxe Typescript, il ne “transpile” en Javascript que le code Typescript. Si l’implémentation Javascript correspondant aux types déclarés n’est pas présente, l’exécution provoquera des erreurs.

Le mot-clé declare permet de déclarer tous les types d’objets comme le ferait, par exemple, une interface par rapport à une classe.

Pour déclarer une variable de type any:

declare var variableName: any; 

Pour déclarer la signature d’une fonction:

declare function DecodeValue(valueName: string): void; 

Pour déclarer une classe:

declare class Person { 
     constructor(name: string, firstName: string); 
     showPersonName(): void; 
} 

Pour déclarer un module ou un namespace:

declare namespace ExternalDependency { 
    class Person { 
         constructor(name: string, firstName: string); 
         showPersonName(): void; 
    } 

    class Player { 
         constructor(person: Person); 
         showPlayerName(): void; 
    } 

    function CreatePlayer(name: string, firstName: string): Player; 
} 
module et namespace sont équivalents

Les mot-clés module et namespace sont équivalents (cf. Namespaces en Typescript), on peut aussi écrire:

declare module ExternalDependency { 
   ... 
} 

On peut associer les mot-clé export et declare pour indiquer l’export d’un module et de tous les éléments qui s’y trouvent.

Ainsi:

export declare namespace ExternalDependency { 
    class Person { 
         constructor(name: string, firstName: string); 
         showPersonName(): void; 
    } 

    class Player { 
         constructor(person: Person); 
         showPlayerName(): void; 
    } 

    function CreatePlayer(name: string, firstName: string): Player; 
} 

Est équivalent à:

export namespace ExternalDependency { 
    export class Person { 
         constructor(name: string, firstName: string); 
         showPersonName(): void; 
    } 
 
    export class Player { 
         constructor(person: Person); 
         showPlayerName(): void; 
    } 

    export function CreatePlayer(name: string, firstName: string): Player; 
} 

Fichier de définition (declaration file)

Dans le cas d’une bibliothèque, tous les types Javascript peuvent être déclarés dans un seul fichier appelé “fichier de définition” (i.e. declaration file). Ces fichiers ont usuellement l’extension .d.ts toutefois rien n’oblige à utiliser cette extension. N’importe quelle déclaration peut être implémentée dans un fichier .ts.

Les fichiers de définition .d.ts peuvent être référencés avec une directive triple-slash (cf. Directive “triple-slash”) au même titre qu’un fichier .ts normal, par exemple:

/// <reference path="declarationFile.d.ts" />  

Ainsi quand on doit utiliser une bibliothèque Javascript dans du code Typescript, on peut référencer les fichiers de définition correspondant à cette bibliothèque.

Générer un fichier de définition

Le compilateur Typescript permet de générer un fichier de définition à partir du code Typescript en écrivant:

tsc --declaration <chemin des fichiers .ts>

Ou

tsc –d <chemin des fichiers .ts>

On peut préciser un répertoire de sortie pour ces fichiers:

tsc --declaration <chemin des fichiers .ts> --declarationDir <répertoire de sortie>

Exemple d’utilisation de “declare”

On se propose d’illustrer l’import d’un fichier de définition avec un exemple. Le but de cet exemple est d’importer du code Javascript dans du code Typescript en utilisant un fichier de définition. Le code de la bibliothèque se trouve dans les fichiers dependency.ts ou dependency.js.

Code sur GitHub

Le code de cet article se trouve dans le repository GitHub suivant:
github.com/msoft/external_typescript_modules.
Le code se trouve dans des branches différentes suivant la partie de l’article qu’il illustre:

  • Branche 1_initial: code initial permettant de compiler du code Typescript.
  • Branche 2_ExternalDependency: exemple d’utilisation de declare.
  • Branche 3_webpack_initial: code initial permettant de compiler avec webpack.
  • Branche 4_webpack_any: exemple d’import de modules Javascript avec any.
  • Branche 5_webpack_npm_types: exemple d’import de modules Javascript avec le domaine @types de npm.
  • Branche 6_webpack_typings: exemple d’import de modules Javascript avec typings.

Le code de cet exemple se trouve dans la branche 1_initial du repository msoft/external_typescript_modules sur GitHub.

Ainsi on considère le code suivant permettant d’importer un module:

import { Person, Player, CreatePlayer } from "./dependency.js";

class Startup { 
    public static main(): number { 
        var player = new Player(new Person('Buffon', 'Gianluigi')); 
        player.showPlayerName(); 

        return 0; 
    } 
} 

Startup.main(); 

Le module se trouve dans le fichier dependency.ts (la directive d’import utilise l’extension .js dans le code Typescript car le compilateur ne change pas les extensions à la compilation(1) (2)).

Le fichier dependency.ts contient le code suivant:

export class Person { 
    constructor(private name: string, private firstName: string) { 
    } 

    public showPersonName(): void { 
        console.log("Name: " + this.name + "; First Name: " + this.firstName);  
    }
}
 
export class Player { 
    constructor(private person: Person) { 
    } 

    public showPlayerName(): void { 
        this.person.showPersonName();  
    } 
} 

export function CreatePlayer(name: string, firstName: string): Player { 
    return new Player(new Person(name, firstName)); 
} 

Le fichier public/index.html qui va permettre de lancer l’exécution (il ne fait que déclarer les fichiers Javascript contenant le code) est:

<!DOCTYPE html> 
<html lang="en"> 
    <head> 
        <meta charset="UTF-8">  
        <title>External module import</title> 
    </head>    
    <body> 
        <script type="module" src="dependency.js"    ></script>
        <script type="module" src="index.js"    ></script>
    </body> 
</html> 

Pour exécuter cet exemple, il faut:

  1. Cloner le repository en exécutant les instructions:
    ~% git clone https://github.com/msoft/external_typescript_modules.git
    ~/external_typescript_modules/% cd external_typescript_modules
    ~/external_typescript_modules/% git checkout 2_ExternalDependency
    
  2. Compiler en exécutant les instructions suivantes dans le répertoire de l’exemple:
    ~/external_typescript_modules/% npm install 
    ~/external_typescript_modules/% npm run build 
    
  3. Lancer l’exécution ensuite avec:
    ~/external_typescript_modules/% npm start 
    
  4. Ouvrir un browser à l’adresse http://127.0.0.1:8080 puis ouvrir la console de développement.
Pour afficher la console de développement dans un browser

Pour tous les exemples présentés dans cet article, pour voir les résultats d’exécution, il faut afficher la console de développement:

  • Sous Firefox: on peut utiliser la raccourci [Ctrl] + [Maj] + [J] (sous MacOS: [⌘] + [Maj] + [J], sous Linux: [Ctrl] + [Maj] + [K]) ou en allant dans le menu “Développement web” ⇒ “Console du navigateur”.
  • Sous Chrome: utiliser le raccourci [F12] (sous MacOS: [⌥] + [⌘] + [I], sous Linux: [Ctrl] + [Maj] + [I]) puis cliquer sur l’onglet “Console”. A partir du menu, il faut aller dans “Plus d’outils” ⇒ “Outils de développement”.
  • Sous EDGE: utiliser le raccourci [F12] puis naviguer jusqu’à l’onglet “Console”.

Le résultat de l’exécution est du type:

Name: Buffon; First Name: Gianluigi 

On modifie le code de dependency.ts pour qu’il ne contienne que des déclarations de types (on supprime toutes les implémentations):

  1. On modifie le code de cette façon:
    declare namespace ExternalDependency { 
            class Person { 
                constructor(name: string, firstName: string); 
                showPersonName(): void;  
            } 
    
            class Player { 
                constructor(person: Person); 
                showPlayerName(): void; 
            } 
    
            function CreatePlayer(name: string, firstName: string): Player;     
    } 
    
  2. On déplace ensuite ce fichier dans le répertoire ExternalDependency/index.d.ts:
    ~/external_typescript_modules/% mkdir ExternalDependency 
    ~/external_typescript_modules/% mv dependency.ts ExternalDependency/index.d.ts 
    
  3. On importe ensuite ce fichier dans index.ts en utilisant une directive triple-slash et en supprimant la directive d’import de module:
    /// <reference path="ExternalDependency/index.d.ts" />
    
    class Startup { 
        public static main(): number { 
            var player = ExternalDependency.CreatePlayer('Buffon', 'Gianluigi'); 
            player.showPlayerName(); 
    
            return 0; 
        } 
    } 
    
    Startup.main(); 
    
  4. Si on compile, on s’aperçoit qu’il n’y a pas d’erreurs de compilation. Il n’existe plus d’implémentation des classes Player et Person pourtant la compilation se passe correctement.
  5. En revanche si on tente d’exécuter le code en rafraichissant le browser:
    index.js:24 Uncaught ReferenceError: ExternalDependency is not defined 
        at Function.Startup.main (index.js:24) 
        at index.js:30 
    

    Ceci s’explique par le fait, qu’il n’y a pas de références vers le code Javascript correspondant aux classes Player et Person.

  6. On modifie le code de dependency.ts pour encapsuler les classes Player et Person dans un module et on exporte seulement la fonction CreatePlayer():
    module ExternalDependency { 
        class Person { 
            constructor(private name: string, private firstName: string) { 
            } 
    
            public showPersonName(): void { 
                console.log("Name: " + this.name + "; First Name: " + this.firstName);  
            } 
        }
    
        class Player { 
            constructor(private person: Person) { 
            }
    
            public showPlayerName(): void { 
                this.person.showPersonName();  
            } 
        } 
    
        export function CreatePlayer(name: string, firstName: string): Player { 
            return new Player(new Person(name, firstName)); 
        } 
    } 
    
  7. On lance la compilation en exécutant:
    npm run build 
    
  8. Pour rajouter une référence vers le code Javascript des classes Player et Person, on déplace au bon endroit le fichier Javascript dependency.js compilé précédemment:
    ~/external_typescript_modules/% mkdir public/ExternalDependency 
    ~/external_typescript_modules/% mv public/dependency.js public/ExternalDependency/index.js 
    
  9. On modifie ensuite le fichier public/index.html pour qu’il ne référence plus les fichiers Javascript sous forme de module ES6 (cf. Utilisation des modules ES2015):
    <!DOCTYPE html> 
    <html lang="en"> 
        <head> 
            <meta charset="UTF-8">  
            <title>External module import</title> 
        </head>    
        <body> 
            <script src="ExternalDependency/index.js"    ></script> 
            <script src="index.js"    ></script>
        </body> 
    </html> 
    
  10. Après avoir rafraîchi le browser, le résultat est le même que précédemment:
    Name: Buffon; First Name: Gianluigi 
    

Le but de cet exemple était d’illustrer l’utilisation d’un fichier de définition de façon à comprendre plus facilement leur utilisation par la suite.

Comment utiliser des fichiers de définition ?

Comme indiqué plus haut, ces fichiers servent à déclarer des types sans préciser l’implémentation. En effet l’implémentation de ces types est en Javascript et sera utilisable seulement pendant l’exécution. Les fichiers de définition contiennent le code Typescript permettant au compilateur de faire une vérification des types.

Ainsi la plupart des bibliothèques Javascript téléchargeables sous forme de modules avec npm possèdent des fichiers de définition. Il existe plusieurs façon d’obtenir ces fichiers. On va indiquer 2 méthodes pour télécharger ces fichiers.

Exemple avec jQuery et DataTables

Pour illustrer ces différentes méthodes, on se propose d’utiliser un exemple dans lequel on utilise jQuery et DataTables. L’exemple permet de remplir un tableau avec 2 lignes. En dessous du tableau se trouve un bouton. Si on clique sur ce bouton, le contenu de la cellule à la 2e ligne et 2e colonne est modifié.

Pour utiliser l’exemple:

  1. On commence à partir d’un “squelette” vide ne contenant que webpack. Webpack est un outil permettant de compiler le code Typescript dans un seul fichier Javascript (appelé bundle). Webpack permet aussi d’exécuter le code en utilisant un serveur web de développement.

    Le “squelette” initial se trouve dans le branche 3_webpack_initial du repository GitHub msoft/external_typescript_modules.
    Le code final de cet exemple se trouve dans la branche 4_webpack_any.

    On récupère la branche 3_webpack_initial en exécutant:

    ~/external_typescript_modules/% git checkout 3_webpack_initial
    
  2. On installe tous les composants y compris webpack en exécutant la ligne suivante:
    ~/external_typescript_modules/% npm install 
    
  3. On ajoute les bibliothèques jQuery et DataTables en exécutant:
    ~/external_typescript_modules/% npm install jquery 
    ~/external_typescript_modules/% npm install datatables.net 
    
  4. A ce stade, si on tente d’utiliser du code jQuery dans index.ts, le code ne compilera pas:
    var data = [ 
                [ 
                    "Tiger Nixon", 
                    "System Architect", 
                    "Edinburgh", 
                    "5421", 
                    "2011/04/25", 
                    "$3,120" 
                ], 
                [ 
                    "Garrett Winters", 
                    "Director", 
                    "Edinburgh", 
                    "8422", 
                    "2011/07/25", 
                    "$5,300" 
                ] 
            ] 
    
            $(document).ready( function () { 
                var datatable = $('#table_id').DataTable({ 
                    data,
                }); 
            } ); 
    

Dans le code ci-dessus, jQuery est appelé avec l’instruction $(...) et le code de DataTables est appelé avec .DataTable(...).
Les instructions permettent de rajouter des données dans le tableau HTML nommé table_id se trouvant dans la page HTML index.html.

En lançant npm run build pour compiler, on obtient des erreurs de compilation:

ERROR in /home/user/external_typescript_modules/webpack_es6/index.ts 
./index.ts 
[tsl] ERROR in /home/user/external_typescript_modules/webpack_es6/index.ts(9,15) 
      TS2451: Cannot redeclare block-scoped variable '$'. 
ℹ 「wdm」: Failed to compile. 

Les méthodes suivantes permettent de corriger ces erreurs.

Utiliser “any”

Cette méthode est la plus simple toutefois elle est la plus risquée. Elle consiste à déclarer le type any pour l’objet de plus haut niveau dans la bibliothèque, par exemple en indiquant dans le fichier index.ts:

declare const $: any; 

L’erreur de compilation disparaît, toutefois il faut avoir en tête qu’il n’y aucune vérification de syntaxe sur toutes les déclarations suivant $. On peut écrire n’importe quoi après $, il n’y aura pas d’erreurs de compilation. Cette solution est donc à utiliser pour tester rapidement une bibliothèque mais elle est à proscrire pour produire du code de production.

Installer les fichiers de définition avec npm

Le domaine types de la commande npm permet d’installer les fichiers de définition dans le répertoire node_modules/@types/<nom du package>. Pour installer ces fichiers, on peut exécuter la commande:

npm install @types/<nom du package> --save-dev 

Cette commande va installer les fichiers de définition et indique ce package dans la partie devDependencies du fichier package.json.

Dans la plupart des cas pour télécharger les fichiers de définition pour un package donné, il suffit d’installer le package avec le nom @types/<nom du package>. Ce n’est pas toujours le cas, ainsi pour retrouver le package contenant les fichiers de définition pour un package donné, on peut utiliser TypeSearch.

Il faut privilégier l’installation de fichiers de définition avec npm

Cette méthode est actuellement la méthode la plus usuelle pour télécharger les fichiers de définition. Cette fonctionnalité n’est disponible qu’à partir de Typescript 2.0.

Les fichiers de définition dans le domaine @types de npm proviennent du repository GitHub DefinitelyTyped qui est un référentiel contenant les fichiers de définition pour les packages les plus courants.

Dans le cas de notre exemple, on peut installer les fichiers de définition de jQuery et DataTables en exécutant:

~/external_typescript_modules/% npm install @types/jquery --save-dev 
~/external_typescript_modules/% npm install @types/datatables.net --save-dev 

On peut remarquer que la compilation réussit après l’installation des fichiers de définition (après avoir exécuté npm run build).

Le code final de cet exemple se trouve dans la branche 5_webpack_npm_types du repository GitHub msoft/external_typescript_modules.

Installer les fichiers de définition avec typings

Pour des versions de Typescript antérieures à la version 2.0 ou pour obtenir des fichiers de définition pour des packages qui ne sont pas disponibles dans le domaine @types de npm, on peut passer par typings.

typings est un outil disponible avec la ligne de commandes qui possède de nombreuses fonctionnalités pour télécharger les fichiers de définition à partir de sources différentes.

Import sous forme de module externe

Par défaut typings considère que l’import des types de définition se fait sous forme de module externe Typescript. Typings encapsule, ensuite la définition des types dans un module avec des déclarations du type:

declare module '<nom du module>' { 
     // Définition du type 
     // ... 
} 

Pour consommer le type dans le code Typescript, on peut utiliser des alias en utilisation la syntaxe:

import * as <alias utilisé> from '<nom du module>' 

Un des intérêts de cette méthode est de pouvoir utiliser des versions différentes de fichiers de définition correspondant à des versions différentes de package. On peut, ainsi, utiliser un alias par version.

Dépendances globales

Typings considère certaines définitions de types comme étant globales pour différentes raisons:

  • Soit parce-qu’il ajoute les types au scope global,
  • Soit il ajoute des éléments nécessaires pour effectuer les builds (comme webpack ou browserify)
  • Soit il ajoute des éléments nécessaires à l’exécution (par exemple comme Node.js).

Pour installer des définitions globales, il faut utiliser l’option --global. Typings indique si l’installation de types doit se faire obligatoirement de façon globale.

Utiliser typings

Pour installer typings, on utilise npm en exécutant la commande:

npm install typings --global  

Cette commande ajoute l’utilitaire typings dans le répertoire global de façon à ce qu’elle soit disponible sur la ligne de commandes.

Quelques commandes courantes de typings

Une fois que typings est installé, on peut l’utiliser directement à la ligne de commandes:

  • Pour chercher des définitions correspondant à un package à partir de son nom, on peut taper:
    typings search --name <nom du package> 
    
  • Pour chercher en fonction d’un mot clé:
    typings search <éléments recherchés> 
    
  • Pour installer des définitions à partir du nom du package:
    typings install <nom du package> --save 
    

    L’option --save permet d’enregistrer le nom du package pour lequel les définitions ont été téléchargées dans le fichier typings.json dans le nœud json:

    • "dependencies" pour les packages externes classiques
    • "globalDependencies" pour les packages installés de façon globale.
  • Pour installer les définitions de façon globale, il faut rajouter l’option --global:
    typings install <nom du package> --save --global 
    
  • Pour indiquer la source:
    typings install <nom de la source>~<nom du package> --save 
    

    Ou

    typings install <nom du package> --source <nom de la source> --save 
    

    Par défaut, la source de typings est npm.

    D’autres sources sont possibles, par exemple:

    • github pour récupérer des dépendances directement de GitHub (par exemple: Duo, JSPM).
    • bower pour la source Bower.
    • env pour des environments particulier (par exemple atom, electron). Il faut rajouter l’option --global.
    • dt pour la source DefinitelyTyped. Il faut rajouter l’option --global.
  • Pour installer une version spécifique:

    typings install <nom du package>@<version à installer> 
    

Dans le cas de notre exemple, il faut d’abord installer typings de façon globale en exécutant la commande:

~/external_typescript_modules/% npm install typings --global

On installe ensuite les fichiers de définition de façon globale et en utilisant la source dt:

~/external_typescript_modules/% typings install jquery --source dt --save --global 
~/external_typescript_modules/% typings install datatables.net --source dt --save --global 

Sans aucune mention supplémentaire, les types sont reconnus dans le code Typescript. Si on regarde les fichiers de types dans le répertoire typings, on remarque que le fichier typings/index.d.ts contient les lignes suivantes:

/// <reference path="globals/datatables.net/index.d.ts" /> 
/// <reference path="globals/jquery/index.d.ts" /> 

Ces lignes font des références vers les fichiers de définition pour respectivement:

  • jQuery dans typings/globals/jquery/index.d.ts
  • DataTables dans typings/globals/datatables.net/index.d.ts

De même que précédemment, avec l’ajout de ces fichiers de définition, la compilation réussit.

Le code final de cet exemple se trouve dans la branche 6_webpack_typings du repository GitHub msoft/external_typescript_modules.

Conclusion

L’import de bibliothèques Javascript externes dans du code Typescript est quasiment incontournable. La méthode la plus usuelle pour intégrer des bibliothèques courantes est d’importer des fichiers de définition avec npm. D’autres méthodes existent, toutefois elles sont réservées aux cas particuliers. Par exemple quand on souhaite utiliser une version non disponible avec npm ou quand simplement les fichiers de définition ne sont pas fournis.
Cet article a tenté d’illustrer le plus simplement, l’utilisation du mot-clé declare et l’import de fichiers de définition avec npm.

(1) – Add js extension to import/export: https://github.com/Microsoft/TypeScript/issues/18971
(2) – Provide a way to add the ‘.js’ file extension to the end of module specifiers: https://github.com/Microsoft/TypeScript/issues/16577

Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Implémentation d’un Timer avec TPL

Dans cet article, on cherche à proposer une implémentation d’un Timer en utilisant TPL (i.e. Task Parallel Library). Il existe une classe qui permet d’effectuer un traitement de façon périodique: System.Threading.Timer. Cette classe n’est pas très moderne puisqu’elle existe depuis les premières versions du Framework. Elle permet d’effectuer correctement un traitement périodique toutefois elle souffre de quelques défauts:

  • Cette classe est difficilement testable: les traitements asynchrones peuvent être difficiles à tester. C’est encore plus vrai avec System.Threading.Timer puisqu’on ne maitrise pas les itérations, elles sont déclenchées par l’écoulement du temps. Si on veut tester une périodicité de 30 min, il faut attendre 30 min que l’itération s’exécute.
  • Elle ne permet pas de tirer partie des avantages de TPL: gestion des exceptions, gestion de l’annulation de l’exécution, continuation, options de création des Task etc…

Il existe d’autres implémentations d’une tâche périodique toutefois elles présentent les mêmes inconvénients que System.Threading.Timer:

  • System.Timers.Timer
  • System.Windows.Forms.Timer utilisable dans le cadre de Windows Forms.
  • System.Windows.Threading.DispatcherTimer en WPF.

Le code correspondant à cet article se trouve dans le repository GitHub msoft/PeriodicTask.

Exemple avec System.Threading.Timer

Comme indiqué plus haut, on souhaite utiliser la flexibilité de TPL pour apporter une implémentation d’une tâche périodique.

Avant de commencer, voici un exemple rapide de l’implémentation d’une tâche périodique avec System.Threading.Timer (cf. classe SimpleTimerUsage). Cet exemple sert de base pour l’implémentation avec TPL. Le code “métier” exécuté de façon périodique est dans ExecuteJob():

public class SimpleTimerUsage : IDisposable 
{ 
    private readonly ILogger logger; 
    private Timer timer; 
     
    public SimpleTimerUsage(ILogger logger, int periodicity) 
    { 
        this.logger = logger; 
        this.timer = new Timer(ExecuteJob, null, 0, periodicity); 
    } 

    #region IDisposable member 
     
    public void Dispose() 
    { 
        if (this.timer != null) 
        { 
            this.timer.Dispose(); 
            this.timer = null; 
        } 
         
        GC.SuppressFinalize(this); 
    } 

    #endregion 

    private void ExecuteJob(object stateInfo) 
    { 
        this.logger.Info("Executing job..."); 
        Thread.Sleep(100); 
        this.logger.Info("Job executed"); 
    }
} 

Cette classe permet de lancer un timer à l’instanciation pour exécuter le méthode ExecuteJob(). La classe est disposable pour permettre de stopper l’exécution du timer.

Pour lancer l’exécution, il suffit d’instancier la classe:

var logger = NLog.LogManager.GetCurrentClassLogger(); 

var timerUsage = new SimpleTimerUsage(logger, 3000); 

Console.ReadLine(); 

Pour exécuter le code correspondant à cet exemple, il faut compiler le projet PeriodicTaskCore avec .NET Core après avoir cloné le repository GitHub:

user@debian:~% git clone https://github.com/msoft/PeriodicTask.git
user@debian:~% cd PeriodicTask
user@debian:~/PeriodicTask/% dotnet build

Pour exécuter le projet:

user@debian:~/PeriodicTask/% cd PeriodicTaskCore
user@debian:~/PeriodicTask/PeriodicTaskCore/% dotnet run

Pour plus de détails sur les commandes de la CLI .NET Core: “Commandes courantes de la CLI .NET Core”.

Sans surprise, la fonction ExecuteJob() est exécutée de façon périodique:

2018-11-17 05:09:31.7410|INFO|PeriodicTaskCore.Program|Executing job...
2018-11-17 05:09:31.9083|INFO|PeriodicTaskCore.Program|Job executed
2018-11-17 05:09:34.9134|INFO|PeriodicTaskCore.Program|Executing job...
2018-11-17 05:09:35.0160|INFO|PeriodicTaskCore.Program|Job executed
2018-11-17 05:09:38.0172|INFO|PeriodicTaskCore.Program|Executing job...
2018-11-17 05:09:38.1187|INFO|PeriodicTaskCore.Program|Job executed
2018-11-17 05:09:41.1214|INFO|PeriodicTaskCore.Program|Executing job...
2018-11-17 05:09:41.2270|INFO|PeriodicTaskCore.Program|Job executed
2018-11-17 05:09:44.2295|INFO|PeriodicTaskCore.Program|Executing job...
2018-11-17 05:09:44.3335|INFO|PeriodicTaskCore.Program|Job executed

Implémentation d’une tâche périodique avec TPL

Pour implémenter une tâche périodique avec TPL, on peut créer une Task avec une boucle infinie:

private void ExecuteJobPeriodically() 
{ 
    while (true) 
    { 
        Task.Delay(this.periodicity.Value).Wait();
        this.ExecuteJobOnce(); 
    } 
}

private void ExecuteJobOnce() 
{ 
    this.logger.Info("Executing job..."); 
    Thread.Sleep(100); 
    this.logger.Info("Job executed"); 
}
 

Ainsi la boucle infinie exécute ExecuteJobOnce() comme précédemment. A chaque itération on attends le temps correspondant à la périodicité avec Task.Delay() puis on exécute le traitement en lançant:

ExecuteJobOnce().

Pour lancer l’exécution, il suffit de créer la Task et de la lancer de cette façon:

public void LaunchJob() 
{ 
    this.timer = Task.Run(() =>  
    { 
        this.ExecuteJobOnce(); 
        this.ExecuteJobPeriodically(); 
    }, TaskCreationOptions.LongRunning); 
} 

On lance l’exécution du traitement à l’instanciation de la Task puis de façon périodique par la suite.

Gestion de l’annulation

En introduisant la possiblité d’annuler l’exécution en utilisant un CancellationToken, l’implémentation devient:

private readonly CancellationTokenSource cancellationTokenSource = new CancellationTokenSource(); 

public void LaunchJob() 
{ 
    var cancellationToken = this.cancellationTokenSource.Token; 
    if (!this.IsTimerRunning()) 
    { 
        this.timer = Task.Run(() =>  
        { 
            this.ExecuteJobOnce(cancellationToken); 
            this.ExecuteJobPeriodically(cancellationToken); 
        }, cancellationToken, TaskCreationOptions.LongRunning); 
    } 
} 

private void ExecuteJobPeriodically(CancellationToken cancellationToken) 
{ 
    while (true) 
    { 
        Task.Delay(this.periodicity.Value, cancellationToken).Wait(cancellationToken); 
        cancellationToken.ThrowIfCancellationRequested(); 
        this.ExecuteJobOnce(cancellationToken); 
    } 
} 

private void ExecuteJobOnce(CancellationToken cancellationToken) 
{ 
    if (cancellationToken.IsCancellationRequested) return; 

    this.ExecutePeriodicTask(cancellationToken); 
} 

Pour annuler l’exécution, il suffit d’exécuter:

cancellationTokenSource.Cancel(); 

Ajout d’un traitement en cas d’annulation et de d’exception

Si l’exécution de la Task provoque une erreur et si elle est annulée, on souhaite effectuer un traitement comme par exemple logguer un message. Ce type de traitement peut être effectué en utilisation des continuations:

protected void CreateAndLaunchTimer() 
{ 
    var cancellationToken = this.cancellationTokenSource.Token; 
    if (!this.IsTimerRunning()) 
    { 
        this.timer = new Task(() =>  
        { 
            this.ExecuteJobOnce(cancellationToken); 
            this.ExecuteJobPeriodically(cancellationToken); 
        }, cancellationToken, TaskCreationOptions.LongRunning); 

        // Exécuté quand la Task provoque une exception 
        this.timer.ContinueWith(t =>  
        { 
            this.OnPeriodicTaskFaulted(t.Exception); 
        }, TaskContinuationOptions.OnlyOnFaulted);

        // Exécuté quand la task est annulé  
        this.timer.ContinueWith(t => 
        { 
            this.OnPeriodicTaskCanceled(); 
        }, TaskContinuationOptions.OnlyOnCanceled);

        // Exécuté quand la task s'arrête 
        this.timer.ContinueWith(t => 
        { 
            this.OnPeriodiTaskCompleted(); 
        }, TaskContinuationOptions.OnlyOnRanToCompletion);

        this.timer.Start(); 
    } 
} 

protected virtual void OnPeriodicTaskFaulted(AggregateException exception) 
{ 
    this.Logger.Error("Periodic task raised an exception: {0}", exception); 
} 

protected virtual void OnPeriodicTaskCanceled() 
{ 
    this.Logger.Info("Periodic task has been canceled."); 
} 

protected virtual void OnPeriodiTaskCompleted() 
{ 
    this.Logger.Info("Periodic task ended"); 
} 

On peut arrêter l’exécution en exécutant la méthode suivante, on ne fait que vérifier que la tâche n’est pas déjà stoppée puis on la stoppe:

public void StopPeriodicTask() 
{ 
    if (this.IsTimerRunning() && !this.cancellationTokenSource.Token.IsCancellationRequested) 
    { 
        this.OnPeriodicTaskStopping(); 
        this.cancellationTokenSource.Cancel(); 
        bool completed = false; 

        try 
        { 
            completed = this.timer.Wait(TimeSpan.FromSeconds(5)); 
        } 
        catch (AggregateException occuredException) 
        { 
            occuredException.Handle(ex =>  
            { 
                if (ex is TaskCanceledException || ex is OperationCanceledException) 
                { 
                    completed = true; 
                    return true; 
                } 
                return false; 
            }); 
        } 
    } 
} 

Avec:

private bool IsTimerRunning() 
{ 
    return !(this.timer == null || this.timer.IsFaulted || this.timer.IsCompleted); 
} 

Protéger le lancement de la tâche périodique

On peut ensuite ajouter un lock pour empêcher le lancement de la tâche plusieurs fois si la méthode LaunchJob() est exécutée par des threads différents. On modifie ainsi la méthode LaunchJob():

public void LaunchJob() 
{ 
    var cancellationToken = this.cancellationTokenSource.Token; 
    lock(this.timerCreationLock) 
    { 
        if (!this.IsTimerRunning()) 
        { 
            // ... 
        } 
    } 
} 

Avec:

private readonly object timerCreationLock = new object(); 

Si cette méthode est exécutée plusieurs fois ou par des threads différents, la Task sera créée et lancée de façon unique.

Encapsuler l’implémentation

Pour rendre l’implémentation plus réutilisable et permettre sa réalisation, on peut encapsuler le code dans une classe abstraite. Le code complet de cette classe est dans: PeriodicTask.cs.

Ainsi on peut utiliser la classe PeriodicTask en dérivant de cette classe et en implémentant le code “métier”, par exemple:

public class PeriodicTaskUsage : PeriodicTask 
{ 
    public PeriodicTaskUsage(ILogger logger, TimeSpan? periodicity) : 
        base(logger, periodicity) 
    { 
        // Lancement de la tâche périodique 
        this.LaunchJob();  
    } 
     
    protected override void ExecutePeriodicTask(CancellationToken cancellationToken) 
    { 
        this.Logger.Info("Executing job..."); 
        Thread.Sleep(100); 
        this.Logger.Info("Job executed"); 
    } 
} 

Pour lancer l’exécution, il suffit d’instancier la classe PeriodicTaskUsage:

var logger = NLog.LogManager.GetCurrentClassLogger(); 

var periodicTaskUsage = new PeriodicTaskUsage(logger,  
TimeSpan.FromMilliseconds(3000)); 

Console.ReadLine(); 

Le résultat de l’exécution est le même que précédemment.

Tester l’exécution du code “métier”

Comme indiqué en introduction, la classe System.Threading.Timer est difficilement testable. On souhaite pouvoir tester le code “métier” ainsi que la plus grande quantité de code dans la classe PeriodicTask. Le projet de test est PeriodicTaskTests.

Le code “métier” dans l’exemple se trouve dans la méthode:

protected override void ExecutePeriodicTask(CancellationToken cancellationToken) 
{ 
    this.Logger.Info("Executing job..."); 
    Thread.Sleep(100); 
    this.Logger.Info("Job executed"); 
} 

Pour tester ce code, on utilise le test suivant:

[TestMethod] 
public void When_executing_PeriodicTask_Then_DomainCode_Shall_Be_Executed() 
{ 
    var loggerMock = new Mock<ILogger>(); 
    
    var periodicTaskUsage = new PeriodicTaskForTest(loggerMock.Object); 
    
    // Exécution de la 1ere itération 
    Assert.IsTrue(periodicTaskUsage.ExecuteIteration().Wait(5000));
    
    // On peut effectuer des vérifications 
    loggerMock.Verify(l => l.Info("Executing job..."), Times.Once); 
    loggerMock.Verify(l => l.Info("Job executed"), Times.Once); 
    
    // Exécution d'une 2e itération 
    Assert.IsTrue(periodicTaskUsage.ExecuteIteration().Wait(5000));
    
    //etc... 
} 

Pour faciliter l’exécution des tests, on modifie la méthode PeriodicTask.ExecuteJobPeriodically() pour ne pas lancer la boucle infinie si une périodicité n’est pas précisée. On peut, ainsi, maitriser chaque itération à l’éxtérieur de la classe:

private void ExecuteJobPeriodically(CancellationToken cancellationToken) 
{ 
    if (!this.periodicity.HasValue) return;

    while (true) 
    { 
        Task.Delay(this.periodicity.Value, cancellationToken).Wait(cancellationToken); 
        cancellationToken.ThrowIfCancellationRequested(); 
        this.ExecuteJobOnce(cancellationToken); 
    } 
} 

Ainsi si on dérive de la classe PeriodicTaskUsage de cette façon (cf. classe PeriodicTaskForTest):

internal class PeriodicTaskForTest : PeriodicTaskUsage 
{ 
    public PeriodicTaskForTest(ILogger logger) : 
        base(logger, null) 
    {
    
    } 
    
    public async Task ExecuteIteration() 
    { 
        this.CreateAndLaunchTimer(); 
        
        await this.Timer; 
    }
} 

Avec cette implémentation, on est capable de maitriser l’exécution de chaque itération dans le test avec les lignes:

Assert.IsTrue(periodicTaskUsage.ExecuteIteration().Wait(5000));

L’implémentation de cet exemple se trouve dans le répository gitHub: msoft/PeriodicTask.

Pour l’exécuter, il faut aller dans le répertoire PeriodicTaskTests et lancer l’exécution des tests:

user@debian:~/PeriodicTask/% cd PeriodicTaskTests
user@debian:~/PeriodicTask/PeriodicTaskTests/% dotnet build
user@debian:~/PeriodicTask/PeriodicTaskTests/% dotnet test
Build started, please wait...
Build completed.

Test run for /home/user/PeriodicTask/PeriodicTaskTests/bin/Debug/netcoreapp2.0/PeriodicTaskTests.dll(.NETCoreApp,Version=v2.0)
Microsoft (R) Test Execution Command Line Tool Version 15.5.0
Copyright (c) Microsoft Corporation.  All rights reserved.

Starting test execution, please wait...

Total tests: 1. Passed: 1. Failed: 0. Skipped: 0.
Test Run Successful.
Test execution time: 2.1726 Seconds

Pour conclure…

Cette implémentation n’a rien de très novatrice mais elle permet de facilement mettre en place l’exécution d’une tâche périodique et de la tester. Il existe de nombreuses autres implémentations pour effectuer ce type de traitement. J’espère toutefois que cette implémentation vous a plu. Dans le cas contraire, n’hésiter pas à laisser un commentaire en indiquant les raisons, ça pourrait être intéressant de l’améliorer.

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Performance Monitor en 10 min

Performance Monitor (appelé aussi perfmon) est un outil de monitoring et d’alerte présent sur les plateformes Windows. Il permet de facilement observer des métriques concernant un processus spécifique ou les caractéristiques d’une machine. La plupart de temps, les développeurs oublient d’utiliser un outil comme celui-ci pour évaluer le comportement de leur application au cours du temps. Pourtant, observer l’évolution de métriques sur son application permet éventuellement de se rendre compte de mauvais comportements ou d’anomalies imprévues pouvant subvenir lors de l’exécution.

Le but de cet article est, dans un premier temps, de montrer les fonctionnalités principales de perfmon pour l’utiliser efficacement. Dans un 2e temps, on va expliciter les métriques utilisables qui permettent de faciliter le diagnostique de défauts d’une application. Enfin, on va montrer comment trouver les défauts les plus courants en combinant les différentes métriques.

Les screenshots dans cet article présente perfmon en français, toutefois les traductions anglaises sont indiquées dans le détail des éléments de configuration.

Les avantages les plus importants de perfmon sont:

  • Cet outil est déjà installé sur les systèmes Windows (desktop et server). Il n’est donc, pas nécessaire de l’installer.
  • Il permet de monitorer non seulement des processus classiques mais aussi de remonter des métriques plus spécifiques sur SqlServer ou IIS.
  • Il peut fonctionner en tant que service, sans qu’il soit nécessaire d’avoir une session ouverte. On peut donc laisser perfmon collecter ses métriques pendant plusieurs jours et ainsi, surveiller l’évolution de l’exécution d’une application ou de la machine qui l’exécute. Cette surveillance aide à anticiper les problèmes pouvant éventuellement subvenir comme, par exemple, le manque de resources CPU, le manque de mémoire ou une fuite mémoire dans un processus.
  • On peut exécuter perfmon pour qu’il collecte des données sur une machine à distance.

Le plus gros inconvénient de perfmon est qu’il n’est présent que sur les plateformes Windows. .NET Core étant exécutable sur d’autres plateformes que Windows, on ne peut que regretter qu’il n’y a pas d’équivalent de perfmon sur ces autres plateformes.

D’autre part, perfmon peut manquer de stabilité par moment et de nombreux bugs peuvent rendre son utilisation laborieuse.

Exécution de perfmon

Comme indiqué plus haut, perfmon est déjà installé sur Windows, il n’est pas nécessaire de l’installer. Cet outil se trouve à l’emplacement suivant:

C:\WINDOWS\system32\perfmon.msc

Lancer perfmon

On peut lancer perfmon de différentes façons:

  • En appuyant sur [WIN] + [R], en écrivant perfmon ou perfmon.msc puis en appuyant sur [Entrée].
  • A partir du menu Windows:
    1. Cliquer sur “Panneau de configuration” (i.e. “Control Panel”).
    2. Cliquer sur “Système et sécurité” (i.e. “System and Security”).
    3. Cliquer sur “Outils d’administration” (i.e. “Administration tools”).
    4. Cliquer sur “Analyseur de performance” (i.e. “Performance monitor”).

Collecter des compteurs en temps réel

On peut collecter des métriques en temps réel dans la partie “Outils d’analyse” (i.e. “Monitoring Tools”) ⇒ Analyseur de performances (ou “Performance Monitor”).

Performance Monitor

On peut ajouter des métriques (appelées compteur ou counter) en cliquant sur la croix verte:

Ajouter des métriques (1/2)

On peut aussi effectuer un clique droit sur le graphique puis cliquer sur “Propriétés” (i.e. “Properties”), dans l’onglet “Données” (i.e. “Data”) si on clique sur “Ajouter”, on accède à l’écran permettant de choisir le compteur à ajouter.

Ajouter des métriques (2/2)
Choisir la machine sur laquelle on effectue la collecte

Un grand avantage de perfmon est de pouvoir monitorer des informations sur une machine se trouvant à distance. On peut ainsi renseigner l’adresse d’une machine distance et ainsi collecter les données la concernant.

Si on se connecte à une machine distante, il faut bien sélectionner la machine au moment d’ajouter des compteurs dans la partie “Choisir les compteurs sur” (i.e. “Select counters from computer”):

Ajuster l’échelle du graphique

Dans l’écran de propriétés des graphiques, on peut ajuster manuellement l’échelle du graphique:

Ajuster l’échelle

L’ajustement de l’échelle peut se faire en appliquant un facteur d’échelle aux données pour que le graphique puisse être affichable.
Pour effectuer l’ajustement automatiquement, on peut aussi effectuer un clique droit sur le graphique puis cliquer sur “Mettre à l’échelle les compteurs sélectionnés” (i.e. “Scale selected counters”).

Par défaut, l’échelle de temps est sur 100 sec ce qui est parfois très court pour monitorer correctement un comportement. On peut augmenter cette échelle en allant dans l’onglet “Général” dans la partie “Eléments graphiques” (i.e. “Graph elements”):

Ajuster l’échelle verticale

Par exemple, on peut augmenter la valeur maximum à 1000 sec (le maximum est 1000) pour avoir un historique plus important.

La collecte des compteurs en temps-réel est plutôt limitée puisqu’elle ne permet pas de capturer plus longtemps que 1000 sec. D’autre part, les données ne sont pas sauvegardés sur le disque. Après avoir fermé perfmon, les données sont perdues.

Configurer des collectes automatiques de données

perfmon donne la possibilité de capturer des données sur plusieurs heures ou jours et de les sauvergarder sur le disque de façon à les consulter plus tard. Avec ce type de collecteur, même après fermeture de perfmon, les données continueront d’être collectées. Cette fonctionnalité apporte une grande flexibilité puisqu’on peut fermer la session et les données continueront d’être collectées et sauvegardées.

Configuration de compteurs par programmation

Cet article indique comment configurer des compteurs en utilisant perfmon toutefois il est possible de créer des compteurs de performance par programmation. Pour davantage de détails, voir PerformanceCounter en 5 min.

Configurer un collecteur de données

Pour effectuer des collectes automatiques, il faut:

  1. Déplier la partie “Ensembles de collecteurs de données” (ou “Data Collector Sets”).
  2. Déplier la partie “Définis par l’utilisateur” (ou “User Defined”).
  3. On peut créer un ensemble de collecteurs de données en effectuant un clique droit sur “Définis par l’utilisateur” (ou “User Defined”) puis cliquer sur “Nouveau” et enfin “Ensemble de collecteurs de données” (ou “Data Collector Set”).
  4. Préciser un nom pour l’ensemble de collecteurs.
  5. Sélectionner “Créer manuellement (avancé)” (ou “Create manually (advanced)”) puis cliquer sur “Suivant”:
  6. Les options affichées permettent d’ajouter des compteurs particuliers:
    • Compteur de performance (ou “performance counter”): cette option permet de créer des compteurs personnalisés avec lesquel on pourra préciser quelles sont les métriques à observer.
    • Données de suivi d’évènements (ou “Event trace data”): ce sont des évènements paramétrés.
    • Informations de la configuration système (ou “System configuration information”): ce paramétrage permet d’observer des valeurs de clé de registre.

    Pour effectuer une collecte automatique de métriques, il faut sélectionner “Compteur de performance” (ou “Performance Counter”) puis cliquer sur “Suivant”.

  7. Dans l’écran, on peut sélectionner les métriques à observer en cliquant sur “Ajouter…”:

    On peut choisir parmi les mêmes métriques que pour la collecte en temps réel. On détaillera par la suite certaines de ces métriques.

  8. Dans le cadre de l’exemple, on peut choisir une métrique sur le système, par exemple dans la partie: “Mémoire” (i.e. “Memory”) ⇒ “Mégaoctets disponibles” (ou “Available Bytes”).
    Cliquer sur “Ajouter” puis “OK”.
  9. Cliquer ensuite sur “Terminer”.

Lorsque la configuration est ajoutée, on peut préciser quelques éléments de configuration supplémentaire:

  • Effectuer un clique droit sur le collecteur créé,
  • Cliquer sur “Propriétés”.

On peut personnaliser certains éléments:

  • Utilisateur: l’utilisateur qui exécutera le compteur: ce paramétrage est particulièrement utile si on souhaite monitorer un processus lancé avec un utilisateur différent de celui qui effectue le paramétrage. Ce paramètre est disponible dans l’onglet “Général”:
  • Répertoire (ou “Directory”): le répertoire dans lequel les fichiers des compteurs seront créés: accessible dans l’onglet “Répertoire”.
  • Condition d’arrêt (ou “Stop condition”): il peut être utile de paramétrer une condition d’arrêt pour éviter que la collecte s’effectue de façon permanente. Les paramètres les plus utiles sont:
    • Durée globale (ou “Overall duration”): indiquer une durée. Ne pas oublier de préciser l’unité.
    • Limites (ou “Limits”): cette partie est intéressante car elle va permettre d’indiquer une période de collecte qu’il est possible de redémarrer périodiquement. En effet, il n’est pas possible de consulter le résultat d’une collecte si elle est en cours d’exécution. Ainsi, si on redémarre une collecte de façon périodique, on pourra lire la collecte effectuée lors d’une période précédente.
      Pour permettre de redémarrer périodiquement une collecte, il faut:

      • Indiquer une durée de collecte et cliquer sur “Durée”
      • Cliquer sur “Redémarrer l’ensemble de collecteurs dès qu’une limite est atteinte” (i.e. “Restart the data collection set at limits”) pour permettre de relancer une nouvelle période de collecte:
Paramétrer une condition d’arrêt

Il est vivement conseillé de paramétrer une condition d’arrêt pour plusieurs raisons:

  • Les compteurs peuvent consommer beaucoup de mémoire: cette quantité varie en fonction de la quantité de métriques paramétrées. Certaines métriques système consomment particulièrement de la mémoire.
  • On ne peut pas lire les résultats d’une collecte si celle-ci n’est pas arrêtée. Pour pouvoir lire les résultats, il faut:
    • soit arrêter la collecte
    • soit redémarrer la collecte de métriques de façon périodique. Lors d’une période de collecte, on ne peut pas lire la collecte en cours, toutefois on peut lire les périodes précédentes.
    • Enfin, en redémarrant une collecte périodiquement, les données de collecte sont écrites périodiquement sur le disque. Si perfmon crashe, on ne perds que la dernière période de collecte et non toute la collecte.

Modifier les propriétés du compteur de performance

Il est possible de modifier les métriques collectées en effectuant un clique droit sur le compteur de performance (sur la droite) puis en cliquant sur “Propriétés” (on peut aussi double cliquer sur le nom du compteur):

Accéder aux proprétés d’un compteur de performance

On peut aussi ajouter des collecteurs de données en effectuant un clique droit sur le panneau de gauche puis en cliquant sur “Nouveau”.

Modifier le format d’enregistrement des données collectées

Cette option peut s’avérer particulièrement utile pour sauvegarder les données dans un fichier CSV de façon à les ouvrir dans Excel par exemple:

  1. Il faut accéder aux propriétés du compteur de performance en effectuant un clique droit sur le compteur (sur la droite) puis en cliquant sur “Propriétés” (on peut double cliquer sur le nom du compteur).
  2. Dans la partie “Format d’enregistrement” (i.e. “Save Data As”), on peut sélectionner “Avec séparateur virgule” (i.e. “Test file (comma delimited)”) ou “Avec séparateur tabulation” (i.e. “Text file (tabulation delimited)”):

Les données collectées seront enregistrées dans un fichier .CSV consultable, par exemple, avec Excel.

Convertir un fichier de données binaires en CSV

On peut convertir les données collectées dans un fichier binaire au format .BLG vers un fichier texte de type .CSV en exécutant la commande suivante:

relog -f csv <chemin du fichier binaire .BLG> -o <chemin du fichier de sortie .CSV>

Démarrer un collecteur de données

Démarrer manuellement une collecte

Après avoir configuré un collection de données, on peut la démarrer:

  • En le sélectionner puis en cliquant sur “Démarrer”:
  • On peut aussi démarrer en effectuant un clique droit sur le collecteur puis en cliquant sur “Démarrer”.

Après démarrage, l’icône du collecteur change:

Icône d’un collecteur de données démarré

Programmer le démarrage d’une collecte

On peut programmer la collecte en consultant les propriétés d’un ensemble de collecteur de données (i.e. “Data collector sets”):

  1. Accéder aux propriétés en effectuant un clique droit sur l’ensemble de collecteur de données ⇒ cliquer sur “Propriétés”.
  2. Aller dans l’onglet Planification (i.e. “Schedule”).
  3. Ajouter une condition de démarrage en cliquant sur “Ajouter”:
  4. On peut préciser un certain nombre de critères pour planifier la collecte:

Une autre méthode permet de programmer le démarrage d’un ensemble de collecteur de données en passant par le Task Scheduler de Windows:

  1. Il faut, d’abord, ouvrir le Task Scheduler ou Planificateur de tâches en allant dans “Panneau de configuration” (i.e. “Control Panel”) ⇒ “Système et sécurité”” (i.e. “System and Security”) ⇒ Dans la partie “Outils d’administration” (i.e. “Administration tools”), cliquer sur “Tâches planifiées” (i.e. “Task Scheduler”).
    Une autre méthode consiste à exécuter la commande suivante en faisant [Win] + [R]:

    taskschd.msc
    
  2. On peut accéder aux ensembles de collecteur de données créés dans perfmon en allant dans la partie: “Bibliothèque de Planificateur de tâches” (i.e. “Task Scheduler Library”) ⇒ “Microsoft” ⇒ “Windows” ⇒ “PLA”:
  3. On peut voir sur le panneau de droite, les ensembles de collecteur de données créés dans perfmon. Si on effectue un clique droit sur l’ensemble puis en cliquant sur “Propriétés” on peut accéder à un ensemble d’options permettant de planifier une exécution.
  4. Dans l’onglet “Déclencheurs” (i.e. “Triggers”):
  5. On peut indiquer des options dans les déclencheurs:
  6. Dans l’onglet “Paramètres” (i.e. “Settings”), on peut indiquer de stopper l’exécution d’une collecte avant d’en commencer une autre en sélectionnant dans “Si la tâche s’exécute déjà, la règle suivante s’applique” (i.e. “If the task is already running, then the following rule applies”) l’option “Arrêter l’instance existante” (i.e. “Stop the existing instance”):

Lire les résultats d’une collecte

On ne peut pas voir les résultats d’une collecte de données tant que celle-ci est en cours d’exécution. Une astuce consiste à paramétrer une collecte périodique de façon à lire les résultats collectés lors d’une période précédente.

Si on tente de lire les résultats d’une collecte en cours:

Accéder à une collecte en cours

Pour lire les résultats, il faut:

  • Arrêter la collecte en effectuant un clique droit sur le collecteur puis en cliquant sur “Arrêter” ou
  • Attendre qu’une période de collecte se termine (si elle a été configurée).

Les résultats se lisent dans la partie “Rapports” (i.e. “Reports”), il faut sélectionner le répertoire correspondant à la collecte:

Sélectionner un rapport

On peut choisir différent type d’informations en effectuant un clique droit sur le répertoire de la collecte ⇒ Cliquer sur “Affichage” ⇒ Différents éléments sont disponibles:

  • Rapport: regroupant des informations relatives à la collecte
  • Analyseurs de performances: présentant les courbes correspondant aux métriques collectées.
  • Dossier: c’est l’ensemble des fichiers permettant de stocker les informations collectées.

Si la collecte de données est terminée, en double cliquant sur le nom du rapport, on peut voir un résumé de la collecte (accessible aussi en effectuant un clique droit sur le nom du rapport ⇒ Affichage (i.e. “Display”) ⇒ Rapports (i.e. “Reports”):

Affichage d’un rapport

Il est possible de supprimer les répertoires regroupant les données collectées en effectuant un clique droit sur le répertoire ⇒ Cliquer sur “Supprimer”.

Créer des alertes

On peut configurer des alertes correspondant à des actions qui seront exécutées quand survient un évènement particulier. Les évènements sont configurés à partir de la comparaison d’une métrique avec une valeur seuil déterminée. Par exemple, on peut configurer l’exécution d’une action quand un seuil particulier est dépassé à la hausse ou à la baisse.

Pour configurer ce type d’alerte, il faut:

  1. Déplier la partie “Ensembles de collecteurs de données” (ou “Data Collector Sets”).
  2. Déplier la partie “Définis par l’utilisateur” (ou “User Defined”).
  3. On peut créer un ensemble de collecteurs de données en effectuant un clique droit sur “Définis par l’utilisateur” (ou “User Defined”) puis cliquer sur “Nouveau” et enfin “Ensemble de collecteurs de données” (ou “Data Collector Set”).
  4. Préciser un nom pour l’ensemble de collecteurs.
  5. Sélectionner “Créer manuellement (avancé)” (ou “Create manually (advanced)”) puis cliquer sur “Suivant”:
  6. Sélectionner un collecteur de données de type “Alerte de compteur de performance” (i.e. Performance counter alert).
  7. Ajouter des métriques qui seront comparées à différent seuil: cliquer sur “Ajouter” puis sélectionner une ou plusieurs métriques:
  8. Indiquer pour chaque métrique des seuils utilisés à la hausse (quand “Au dessus de” ou “Above” est sélectionné) ou à la baisse (quand “Au dessous de” ou “Below” est sélectionné).
  9. Cliquer sur “Terminer”.
  10. Quand les seuils sont dépassés, on peut exécuter des actions en:
    • Effectuant un clique droit sur le collecteur de données (sur le panneau de droite) ⇒ cliquer sur “Propriétés”.
    • Dans l’onglet “Action de l’alerte” (i.e. “Alert action”), on peut indiquer l’ensemble de collecteurs à démarrer le cas échéant ou
    • Dans l’onglet “Tâche d’alerte” (i.e. “Alert task”), indiquer la tâche du Task Scheduler à lancer.

Avec ce type d’alerte, on peut exécuter plusieurs types de tâche comme envoyer un mail, afficher un message ou lancer un exécutable. On va expliciter la création d’une tâche pour afficher un message, la procédure étant facilement extensible aux autres cas.

Ainsi, si on veut afficher un message quand la mémoire disponible sur la machine est inférieure à une valeur limite, il faut effectuer les étapes suivantes:

  • Il faut créer une alerte de compteur de performance en utilisant la procédure décrite précédemment.
    Il faut ensuite éditer quelques propriétés du collecteur de données:

    1. Effectuer un clique droit sur le collecteur de données (sur le panneau de droite) ⇒ cliquer sur “Propriétés”.
    2. Dans l’onglet “Action de l’alerte” (i.e. “Alert action”), cliquer sur “Ajouter une entrée dans le journal d’évènements d’applications” (i.e. Log entry in the application event log): cette action permet d’ajouter une entrée dans l’Event log Windows:
    3. Cliquer sur “OK” pour valider.
  • On peut démarrer l’ensemble de collection de données en le sélectionnant puis en cliquant sur “Démarrer”.
  • Dans l’Event Viewer (ou l’observateur d’évènements), on peut voir l’ajout d’une entrée à chaque fois que l’alerte est déclenchée: dans notre cas, l’alerte sera déclenchée dès que la quantité de mémoire disponible sera inférieure à la valeur seuil.
    Pour voir l’entrée dans Event Viewer:

    1. Il faut l’ouvrir en appuyant sur les touches [Win] + [R] puis en écrivant eventvwr.msc.
    2. Déplier les nœuds “Observateurs d’évènements” ⇒ “Journaux des applications et des services” ⇒ “Microsoft” ⇒ “Diagnosis-PLA” ⇒ “Opérationnel”, on peut voir les entrées ajoutées en cas de déclenchement de l’alerte:
  • Il faut ensuite créer une tâche permettant d’afficher un message dans le Task Scheduler:
    1. On ouvre le Task Scheduler en appuyant sur les touches [Win] + [R], en écrivant taskschd.msc puis en appuyant sur [Entrée].
    2. Dans le nœud “Planificateur de tâches” (i.e. “Task Scheduler”) ⇒ “Bibliothèque de Planificateur de tâches” (i.e. “Task Scheduler Library”), on peut créer une tâche en cliquant sur “Créer une tâche” (i.e. “Create a task”):
    3. On indique le nom de la tâche, par exemple MemoryAlert:
    4. Dans l’onglet “Actions”, en cliquant sur “Nouveau”, on peut créer une action à exécuter parmi les actions suivantes:
      • Démarrer un programme,
      • Envoyer un message électronique,
      • Afficher un message.

      On sélectionne “Afficher un message” (i.e. “Display a message”) et on indique le message à afficher:

    5. Cliquer sur “OK” pour terminer la création de la tâche.
    6. On peut tester l’exécution de la tâche en sélectionnant la tâche et en cliquant sur “Exécuter”. Une popup devrait s’afficher avec le contenu suivant:
  • Il faut ensuite configurer la tâche nouvellement créée dans le collecteur de données:
    1. Retourner dans perfmon
    2. Sélectionner l’ensemble de collecteur de données puis effectuer un clique droit sur le collecteur de données (sur la partie droite) et cliquer sur “Propriétés”.
    3. Dans l’onglet “Tâche d’alerte” (i.e. Alert task), dans la partie “Exécuter cette tâche lorsqu’une alerte est déclenchée” (i.e. “Run this task when an alert is triggered”), indiquer le nom de la tâche créée dans le Task Scheduler. Dans notre exemple, cette tâche s’appelle MemoryAlert:

A la suite de cette configuration si l’ensemble de collecteur de données est démarrer, un message d’alerte sous forme d’une popup devrait s’afficher à chaque fois que la mémoire disponible sur la machine descend en dessous de la valeur seuil configurée.

Principaux compteurs de perfmon

Les compteurs de perfmon sont des métriques permettant de mesurer plusieurs types d’information. Ils permettent d’observer des informations diverses allant des données concernant le système à des données concernant des processus spécifiques. Ces compteurs sont les plus importants puisque leur évolution permet de diagnostiquer l’état du système ou d’un processus.

La façon de traiter ces compteurs n’est pas la même:

  • Pour certains compteurs, une simple lecture de la valeur peut suffire à déduire une information pertinente, par exemple le pourcentage de temps processeur permet d’indiquer directement l’utilisation du processeur.
  • Pour d’autres compteurs, il faut comparer la valeur avec une autre valeur provenant éventuellement d’un autre compteur, par exemple pour la quantité de mémoire disponible. Pour en tirer une information pertinente, il faut comparer cette quantité avec la quantité de mémoire totale de la machine pour en déduire la quantité de mémoire occupée.
  • Pour certains compteurs, la lecture d’une valeur instantanée n’indiquera rien de pertinent, il faudra scruter la variation de la valeur du compteur en fonction du temps. Par exemple, la mémoire occupée par un processus peut apporter une information si on constate une augmentation au cours du temps. Plus l’augmentation sera brutale et plus l’évolution de ce compteur sera préoccupante.
  • Enfin, il faut distinguer les unités des compteurs: certains compteurs indiquent des valeurs instantanées, des valeurs moyennes, des pourcentages d’une valeur totale ou des valeurs moyennées par seconde. Il faut avoir en tête que des valeurs instantanées sont échantillonnées à une fréquence donnée. Ces échantillonnages peuvent avoir pour conséquence de déformer la réalité puisque la capture des valeurs est discontinue, seules les captures correspondant à la fréquence seront affichées et non pas toutes les valeurs de façon continue.

Utilisation du processeur

L’utilisation du processeur est une des informations qui peut être la plus utile à capturer. La plupart du temps, les machines comptent plusieurs cœurs logiques. Ainsi, l’utilisation peut être indiquée de façon totale ou pour chaque cœur logique.

Pourcentage du temps processeur

  • Processeur\% temps processeur
    Processor\% Processor Time
    C’est une valeur instantanée qui permet d’avoir une idée de l’utilisation totale du processeur. Une valeur proche des 100% indique un processeur utilisé au maximum de sa capacité ce qui le plus souvent peut révéler une exécution anormale d’un processus. Généralement, il peut être utile d’analyser le temps processeur pour chaque cœur et non pour tout le processeur. En effet, le plus souvent un processus pourrait utiliser 100% d’un cœur mais plus rarement 100% du temps total du processeur.
  • Processus\% temps processeur
    Process\% Processor Time
    Contrairement au compteur précédent, ce compteur ne concerne que le temps processeur pour un processus donné. Cette valeur peut s’avérer intéressante pour isoler le comportement anormal d’un processus en particulier. Plus simplement, dans un fonctionnement normal, ce compteur peut aussi servir à dimensionner une machine pour l’exécution d’un processus.
“Mode kernel” vs “mode utilisateur”

Brièvement, le processeur est exécuté soit en mode utilisateur (i.e. user mode), soit en mode kernel (i.e. kernel mode) suivant le code qu’il doit exécuter. Les applications sont exécutées en mode utilisateur, les systèmes d’exploitation et la plupart des drivers sont exécutés en mode kernel. Cette séparation permet d’isoler l’exécution d’un processus dans un espace d’adresse mémoire virtuelle qui lui est spécifique. Un processus peut appeler certaines fonctions du système d’exploitation qui seront exécutées en mode kernel comme par exemple effectuer des opérations sur un fichier sur le disque, allouer de la mémoire ou effectuer des entrées/sorties réseau.

  • Processeur\% temps privilégié
    Processor\% Privileged time
    Ce compteur permet d’indiquer l’utilisation du processeur en mode kernel. Si l’utilisation du processeur en mode kernel est élevée (c’est-à-dire > 75%) peut révéler une machine sous-dimenssionnée pour l’ensemble des processus à exécuter.
  • Processeur\% temps utilisateur
    Processor\% User time
    Ce compteur indique l’utilisation du processeur en mode utilisateur. Cette valeur est moins pertinente que le pourcentage de temps privilégié toutefois elle peut présenter un intérêt s’il est particulièrement élevé (> 90 %). Elle peut indiquer une machine sous-dimensionnée.
  • Système\Longueur de la file d’attente du processeur
    System\Processor Queue Length
    Ce compteur donne une indication sur le nombre de threads en attente d’exécution. On considère que cette valeur est préoccupante si elle dépasse 5. Dans le cas d’une machine multi-cœur, il faut diviser la valeur par le nombre de cœurs et comparer le résultat avec 5. Si la valeur dépasse 5 de façon continue avec un processeur proche des 100% du temps d’exécution, il y a davantages de threads en attente d’exécution que la processeur n’est capable d’en traiter. Ce qui conduit à allonger la file d’attente et à rendre l’exécution des threads plus longue.
  • Système\Changement de contexte/s
    System\Context switches/sec
    Ce compteur indique le nombre de fois moyens par seconde que le processeur passe du mode utilisateur vers le mode kernel pour effectuer des opérations où le mode kernel est nécessaire dans le cadre d’un thread exécuté en mode utilisateur. Cette valeur dépends de la charge à laquelle est soumise le processeur toutefois elle doit rester stable pour une même charge donnée. Si cette valeur augmente sans changement de charge du processeur, il pourrait s’agir d’un fonctionnement anormal d’un driver.
    Une augmentation brutale peut provenir d’un processus qui effectue beaucoup d’opérations nécessitant une exécution en mode kernel. Dans ce cas, il faut observer la variation de cette valeur et la rapprocher à l’exécution du processus pour éventuellement surveiller une saturation qui pourrait dégrader l’exécution du processus.
    D’une façon générale, une valeur inférieure à 5000 est considérée normale.
  • Processeur\Interruption/sec
    Processor\Interrupts/sec
    Cette valeur indique le nombre de fois moyen par seconde que le processeur reçoit une interruption provenant d’un autre composant hardware. Si cette valeur est supérieure à 1000 de façon continue, il peut s’agir d’un défaut d’un composant matériel. Dans un fonctionnement normal, certains composants sollicitent des interruptions régulières du processeur comme l’horloge système, la souris, les drivers des disques, les cartes réseaux etc…

Identifier les processus

Dans perfmon, les processus sont reconnaissables par leur nom. Toutefois, il peut arriver qu’il existe plusieurs instances d’un même processus. Dans perfmon, tous ces processus seront représentés avec le même nom. Par exemple:

Différentes instances d’une même application

Pour identifier quel libellé correspond à quel processus, il faut se référer à l’ID du processus. On peut trouver cet ID dans le compteur Processus\ID de processus (ou Process\Process ID).

Identifier des threads

Dans le cas des threads, il n’est pas forcément facile d’identifier directement un thread qui consomme beaucoup de CPU avec perfmon. Le gros inconvénient est que dans la catégorie “Thread”, on ne peut pas choisir les threads correspondant à un processus, on est obligé d’ajouter tous les threads existants ce qui est, le plus souvent, inexploitable.
Par exemple pour identifier le thread responsable d’une grande consommation de ressource CPU, on peut aller dans la catégorie “Thread” et ajouter les compteurs:

  • Thread\% temps processeur (ou Thread\% Processor Time): ces compteurs permettent d’identifier le thread responsable ainsi que le processus parent.
  • Thread\N° du thread (ou Thread\ID thread): ces compteurs indiquent l’identifiant du thread en décimal. Il faut convertir cet identifiant en hexadécimal pour l’exploiter avec WinDbg par exemple.

Quand on sélectionne ces compteurs, un grand nombre de courbes sont rajoutées. La recherche est plutôt fastidieuse. Il ne faut pas confondre l’ID du thread et le numéro d’instance indiquée dans perfmon. Le numéro est spécifique à perfmon, il faut se référer à l’ID du thread correspondant au compteur concerné.
Par exemple, si on regarde les compteurs suivants:

Thread ID

L’instance permet de faire de rapprocher les 2 compteurs toutefois l’identifiant du thread est indiqué dans l’encadré rouge.

Utilisation de la mémoire

L’utilisation de la mémoire est le 2e point le plus important à monitorer car elle a un impact très direct sur l’exécution des processus. D’autre part, le fonctionnement anormal d’un processus qui pourrait occasionner une grande consommation de mémoire, peut avoir un impact sur tous les processus de la machine.

  • Mémoire\Mégaoctets disponibles
    Memory\Available MBytes
    Ce compteur indique le nombre de mégaoctets disponibles en mémoire pour l’exécution des processus. Il s’agit d’une valeur instantanée. Si cette valeur est en dessous de 10% de la mémoire totale de la machine, la non disponibilité de mémoire libre pourrait occasionner une charge supplémentaire pour solliciter la mémoire virtuelle.
Page fault

Quand un processus est en cours d’exécution, il est exécuté dans un espace d’adresses mémoire virtuelle. Pour ses besoins, il sollicite le système d’exploitation pour que ce dernier lui alloue de la mémoire sous forme de page. Pendant le déroulement de l’exécution du processus, les pages allouées sont consultées pour écrire ou lire des objets. Le système d’exploitation traque les fréquences d’utilisation de ces pages pour savoir quelles sont les pages les plus fréquemment consultées par le processus. Les pages les plus fréquemment consultées seront mises en cache dans la mémoire RAM de façon à augmenter la vitesse d’exécution du processus. Les autres pages sont stockées dans la mémoire virtuelle sur le disque.

Si un processus souhaite accéder à une page mémoire qui ne se trouve pas dans la mémoire RAM, le système d’exploitation effectue un page fault (ou défaut de page) à la suite de laquelle, il va effectuer une copie de la page du disque vers la mémoire RAM. Le système d’exploitation suppose que la page sera éventuellement de nouveau consultée dans le futur. Le fait que la page soit dans la mémoire RAM rendra plus rapide l’exécution du processus.
Les page faults occasionnent donc beaucoup d’opérations par le système d’exploitation pour accéder à la page mémoire.

  • Processus\Plage de travail
    Process\Working set
    Cette valeur indique la quantité de mémoire RAM en octets utilisée par un processus sans occasionner de page faults. Il s’agit d’une valeur instantanée. Cette valeur peut s’avérer intéressante si elle varie de façon significative au cours du temps.
    Si la machine comporte beaucoup de mémoire, quand un processus libère de la mémoire, la page mémoire n’est pas forcément supprimée de la plage de travail (i.e. “working set”) du processus. La plage de travail d’un processus peut donc contenir des pages inutilisées.
  • Processus\Octets privés
    Process\Private bytes
    Il s’agit de la quantité de mémoire totale en octets utilisée par un processus. Cette valeur est instantanée, de même que la valeur précédente c’est la variation au cours du temps qu’il faut observer. Si cette valeur augmente de façon plus ou moins rapide, il peut s’agir d’une fuite mémoire (i.e. memory leak).
    Dans un contexte managé, cette valeur rassemble la quantité de mémoire managée et non managée.
  • Mémoire CLR .NET\Nombre d’octets dans tous les tas
    .NET CLR Memory\Bytes in all Heaps
    Ce compteur indique la quantité de mémoire managée en octets dans tous les tas du processus. Ce compteur n’est utile que dans le contexte .NET. Elle permet de déduire la quantité de la mémoire non-managée en utilisant la formule:
    Processusoctets privés - Mémoire CLR .NETnombre octets dans tous les tas = Mémoirenon-managée
  • Mémoire\Octets du cache
    Memory\Cache Bytes
    Ce compteur permet de connaître le nombre d’octets alloués en RAM pour des threads du kernel qui ne vont pas occasionnés un page fault. Il s’agit d’une valeur instantanée. Il faut comparer cette valeur à la quantité de mémoire RAM de la machine. Dans le cas d’une valeur élevée, il peut s’avérer que la machine manque de mémoire RAM.
  • Mémoire\Octets résidants dans le cache système
    Memory\Pool Nonpaged Bytes
    Cette valeur correspond à la quantité de mémoire en octets allouées en RAM que le kernel ne peut pas déplacer dans la mémoire virtuelle sur le disque. C’est une valeur instantanée. Si cette valeur est trop grande (>75%), le système ne pourra plus allouer de la mémoire aux processus.
  • Mémoire\Pages/sec
    Memory\Pages/sec
    Ce compteur indique la somme entre le nombre de pages lues et le nombre de pages écrites sur le disque pour résoudre le problème de page fault. Si cette valeur dépasse 50 de façon continue, il est fort probable que le système manque de mémoire.
  • Mémoire\Pages en entrée
    Memory Page Reads/sec
    Il s’agit de la quantité moyenne de page mémoire virtuelle lue sur le disque par seconde. Cette valeur est à rapprocher de celles obtenues avec le compteur Mémoire\Pages/sec.
  • Mémoire\Pages en entrée
    Memory Page Reads/sec
    Il s’agit de la quantité moyenne de page mémoire virtuelle écrite sur le disque par seconde. Cette valeur est à rapprocher de celles obtenues avec le compteur Mémoire\Pages/sec.
  • Fichier d’échange\Pourcentage d’utilisation
    Paging File\% Usage
    Ce compteur permet d’indiquer la proportion du fichier contenant les pages de mémoire stockées en mémoire virtuelle sur le disque. Cette valeur permet de savoir si le fichier d’échange contenant la mémoire virtuelle est sous-dimensionnée.

Contexte managé

Dans un contexte managé, il est possible d’utiliser des compteurs supplémentaires qui pourront donner des indices supplémentaires sur un comportement d’un processus. Ces compteurs ne sont utilisables que pour des procesus .NET.

  • Verrous et threads CLR .NET\Taux de conflits/sec
    .NET CLR LocksAndThreads\Contention Rate/sec
    Ce compteur indique le nombre de fois que le CLR tente d’acquérir un lock managé sans succès. Une valeur différente de 0 peut indiquer qu’une partie du code d’un processus provoque des erreurs.
  • Verrous et threads CLR .NET\Longueur de la file actuelle
    .NET CLR LocksAndThreads\Current Queue Length
    Ce compteur permet de savoir quel est le nombre de threads attendant d’acquérir un lock managé dans un processus. Plus ce nombre est grand et plus il y a de la contention entre les threads ce qui peut révéler une mauvaise optimisation dans la synchronisation des threads d’un processus.
  • Verrous et threads CLR .NET\Nombre de threads actuels logiques
    .NET CLR LocksAndThreads\# of current logical threads
    Cette valeur indique le nombre de threads managés de l’application. Les threads peuvent être stoppés ou en cours d’exécution. L’intérêt de ce compteur est de pouvoir surveiller une variation dans le nombre de threads d’un processus. Si cet indicateur augmente pendant l’exécution du processus, il peut s’agir d’un trop grand nombre de threads qui sont créés sans pouvoir être exécutés. Il s’agit d’une valeur instantanée.
  • Verrous et threads CLR .NET\Nombre de threads actuels physiques
    .NET CLR LocksAndThreads\# of current physical threads
    Ce compteur indique le nombre de threads natifs du système d’exploitation appartenant au CLR effectuant des traitements pour des objets managés. Comme pour le compteur précédent, l’intérêt de ce compteur est de surveiller les variations dans le nombre de threads du processus. Une augmentation de cet indicateur peut révéler un trop grand nombre de threads créés par rapport à la capacité d’exécution du CLR.

Mémoire managée

  • Mémoire CLR.NET\Nombre d’octets dans tous les tas
    .NET CLR Memory\# Bytes in all heaps
    Ce compteur est très utile pour suivre l’évolution de la mémoire managée d’un processus. Il correspond à la somme de la taille des tas de génération 1, 2 et des objets de grande taille.
  • Mémoire CLR.NET\Taille du tas de génération 0 (.NET CLR Memory\Gen 0 heap size)
    Mémoire CLR.NET\Taille du tas de génération 1 (.NET CLR Memory\Gen 1 heap size)
    Mémoire CLR.NET\Taille du tas de génération 2 (.NET CLR Memory\Gen 2 heap size)
    Mémoire CLR.NET\Taille du tas des objets volumineux (.NET CLR Memory\Large Object Heap Size)
    Ces compteurs permettent d’évaluer l’évolution des compteurs des tas principaux d’un processus managé .NET. Ces compteurs peuvent être utiles pour monitorer le comportement du Garbage Collector pour un processus donné.

Détecter les anomalies

Dans cette partie, on va essayer de décrire quelques cas de figures les plus courants de façon à savoir comment utiliser perfmon pour faciliter un diagnostique concernant le comportement d’un processus.

Le code correspondant à cette partie se trouve dans le repository GitHub:
github.com/msoft/memory_leak.

Détecter une fuite mémoire dans un processus managé

Dans un contexte managé, on a tendance à penser qu’il n’est pas très important de détecter des fuites mémoire, le Gargage Collector est assez efficace pour ne jamais permettre la survenance de fuite mémoire. Ceci est vrai à condition de ne pas maintenir des liens vers des objets non utilisés. Dans le cas contraire si un lien est maintenu vers un objet qui n’est plus utilisé, le Garbage Collector sera incapable d’évaluer que cet objet doit être supprimé. Le plus souvent, c’est la source d’une fuite mémoire dans un contexte managé. Evaluer une fuite mémoire avec perfmon n’est pas forcément trivial, il faut avoir à l’esprit plusieurs choses:

  • Si un lien est maintenu vers un objet qui n’est plus utilisé, l’espace mémoire occupé par cet objet ne sera jamais libéré après exécution du Garbage Collector.
  • Le Garbage Collector ne s’exécute pas tout le temps. Il est amené à s’exécuter quand une demande importante en mémoire est requise. Ainsi, la quantité de mémoire managée d’un processus peut augmenter jusqu’à ce que le Garbage Collector s’exécute pour libérer de la mémoire. Ainsi l’augmentation constante de la mémoire utilisée par un processus au cours de son exécution n’est pas forcément synonyme de fuite mémoire.

Pour illustrer ces 2 points, on se propose d’exécuter un processus et d’afficher la mémoire managé de ce processus dans perfmon:

  1. On implémente le code suivant:
    internal class BigObject
    {
    	private const string loremIpsum = "Lorem ipsum dolor ... laborum.";
    	private List<string> strings = new List<string>();
    	public void CreateObjects()
    	{
    		for (int i = 0; i < 100000; i++)
    		{
    			strings.Add(loremIpsum);
    		}
    	}
    }
    
    public class ManagedBigObjectGenerator
    {
    	private List<BigObject> objects = new List<BigObject>();
    	public void CreateObjects()
    	{
    		for (int i = 0; i < 100000; i++)
    		{
    			this.objects.Add(new BigObject());
    			if (i % 10 == 0)
    				Thread.Sleep(100);
    		}
    	}
    }
    

    Ce code instancie un certain nombre d’objets sans jamais les libérer. Ces objets vont occuper un espace mémoire toujours plus important et ils ne seront jamais supprimé par le Garbage Collector car ils sont stockés dans une liste qui n’est jamais vidée.

  2. On exécute ce code et on affiche le compteur Mémoire CLR.NET\Nombre d'octets dans tous les tas dans perfmon.
  3. On peut voir que la quantité de mémoire utilisée par le processus ne cesse d’augmenter.

    Le graphique précédent présente les courbes suivantes:

    • En rouge: le nombre d’octets privés c’est-à-dire la mémoire totale occupée par le processus.
    • En bleu: le nombre d’octets dans tous les tas du processus, il s’agit de la quantité de mémoire managée.
    • En vert: le nombre d’octets dans tous les tas pour tous les processus managés de la machine.

Comme dans le cas d’une fuite mémoire réelle, la consommation de mémoire ne cesse de croître et ne se stabilise pas.

Cependant comme indiqué plus haut, dans certains cas, une augmentation continue de la mémoire ne signifie pas forcément une fuite mémoire:

  1. Ainsi, si on implémente le code suivant:
    public class ManagedBigObjectGeneratorWithWeakReferences
    {
    	private List<WeakReference> objects = new List<WeakReference>();
    	public void CreateObjects()
    	{
    		for (int i = 0; i < 10000; i++)
    		{
    			this.objects.Add(new WeakReference(new BigObject()));
    			if (i % 10 == 0)
    				Thread.Sleep(100);
    		}
    	}
    }
    

    A la différence du code précédent, on utilise des objets de type WeakReference qui permettent de ne pas maintenir de liens avec les instances de BigObject qui sont créés. Ainsi le Garbage Collector peut supprimer les instances.

  2. En affichant le compteur Mémoire CLR.NET\Nombre d'octets dans tous les tas dans perfmon, on constate dans un premier temps que la mémoire occupée augmente, toutefois après quelques minutes, cette quantité de mémoire se stabilise et cesse d’augmenter. La présence de l’objet WeakReference permet de ne pas maintenir un lien avec les objets et ils sont, ainsi, libérés par le Garbage Collector:

    Ce graphique présente les mêmes courbes que précédemment:

    • En rouge: le nombre d’octets privés (mémoire totale occupée par le processus).
    • En bleu: le nombre d’octets dans tous les tas du processus (quantité de mémoire managée).
    • En vert: le nombre d’octets dans tous les tas pour tous les processus managés de la machine.

Détecter une fuite mémoire dans un processus non managé

Détecter une fuite dans un contexte non managée est plus rapide: dès qu’un objet est alloué sur le tas, s’il n’est pas libéré la mémoire ne peut pas être allouée à un autre objet. L’espace mémoire est ainsi perdu. Dans perfmon, il n’existe pas de compteur indiquant la quantité de mémoire non managée qui est utilisée. Pour détecter ce type de fuite mémoire, il faut utiliser 2 compteurs et déduire la mémoire non-managée à partir des compteurs:

La mémoire non managée peut être déduite en utilisant la formule:
Processusoctets privés - Mémoire CLR .NETnombre octets dans tous les tas = Mémoirenon-managée

Ainsi si la quantité totale de mémoire du processus augmente sans que la mémoire managée augmente, cela signifie qu’il peut exister une fuite mémoire dans le code non managée. Si un processus présente une anomalie de ce type, l’évolution des compteurs pourrait ressembler à ces courbes:

Ce graphique présente les mêmes courbes que précédemment:

  • En rouge: le nombre d’octets privés (mémoire totale occupée par le processus).
  • En bleu: le nombre d’octets dans tous les tas du processus (quantité de mémoire managée).
  • En vert: le nombre d’octets dans tous les tas pour tous les processus managés de la machine.

Dans la courbe précédente, la quantité de mémoire managée (courbe bleue) reste à zéro car le code exécuté provient d’une assembly mixte contenant du code managé et du code natif (C++/CLI). Avec ce type d’assembly, perfmon ne détecte pas de code managé, c’est la raison pour laquelle cette courbe reste à zéro. Pour contourner ce problème, on affiche le nombre d’octets dans tous les tas pour tous les processus de la machine de façon à avoir une idée de l’évolution de la mémoire managée à l’échelle du processus.

Le code correspondant à cette partie se trouve dans le projet suivant:
github.com/msoft/memory_leak/tree/master/UnamanagedMemoryLeak.

Conclusion

Le but de cet article était d’indiquer les fonctionnalités principales de perfmon de façon à pouvoir l’utiliser rapidement. J’espère qu’il vous aura aider à configurer perfmon efficacement et surtout qu’il vous aura convaincu de l’utilité de perfmon pour monitorer une application ou une machine.

Références

Documentation générale:

Documentation sur les compteurs:

Exécuter perfmon à distance:

Autre:

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Comment configurer un projet multi-target dans Visual Studio 2017 ?

Il existe une fonctionnalité dans Visual Studio 2017 qui n’est pas évidente à repérer et qui consiste à avoir plusieurs frameworks cibles pour un projet donné. Traditionnellement dans Visual Studio, on crée un projet pour un framework donné, or depuis la multiplication récente des cibles de compilation (.NET Standard ou .NET Core), il peut être nécessaire de produire des assemblies destinées à des environnements différents à partir d’un même code.

On va, dans un premier temps, indiquer ce qui peut justifier l’utilisation de projets multi-target. Ensuite, on va indiquer la méthode pour générer des assemblies pour plusieurs frameworks cible. Enfin, on indiquera des directives à utiliser dans le code pour générer du code spécifique à une plateforme.

Multitude de plateformes cibles

Les technologies Microsoft adressent un grand nombre d’environnements différents allant de systèmes d’exploitation comme Windows à des appareils mobiles comme les tablettes. D’autres parts, depuis quelques années, il est possible d’exécuter du code .NET sur d’autres plateformes que Windows. Cette ouverture a encore augmenté le nombre de plateformes sur lesquelles des technologies pouvaient s’exécuter: Linux, macOS, iOS, Android etc… Toutes ces plateformes ont des spécificités qui nécessitent, pour chacune d’entre elles, une implémentation particulière.

Pour Microsoft, un premier challenge a été de tenter d’uniformiser ses bibliothèques pour les rendre moins spécifiques à une plateforme. Ce premier travail a abouti à 3 grandes familles de technologies:

  • .NET Framework déployable sur des machines Windows,
  • .NET Core déployable sur Windows, Linux, macOS mais aussi sur des tablettes, smartphones et Xbox avec Universal Windows Platform (UWP).
  • Xamarin déployable sur Android et iOS.

Cette uniformisation ne permet pas, à elle-seule, d’utiliser un même code pour adresser plusieurs plateformes. Si on développe une bibliothèque, on est obligé d’avoir un projet spécifique pour chaque plateforme et il est nécessaire de compiler tout son code pour chacune des plateformes.

Pour permettre de compiler du code pour plusieurs plateformes et ainsi, encapsuler la complexité d’un déploiement sur plusieurs plateformes, une approche de Microsoft a été d’introduire une abstraction supplémentaire avec le .NET Standard.

.NET Standard

.NET Standard permet d’introduire une couche supplémentaire entre le code et les plateformes où seront déployées les bibliothèques:

  • Une bibliothèque .NET Standard définit un ensemble d’API qui sont communes à plusieurs plateformes.
  • Une bibliothèque .NET Standard n’est pas liée à une plateforme. Ainsi faire une bibliothèque se baser sur une version de .NET Standard permet d’éviter de la faire se baser sur une plateforme particulière. Il n’y a donc, plus de lien entre la bibliothèque et la plateforme sur laquelle elle sera déployée.
    Cette caractéristique permet d’éviter d’écrire du code pour une plateforme spécifique. Le code de la bibliothèque est écrit pour une version du .NET Standard.
  • La couche supplémentaire qu’est .NET Standard rend plus facile la mise à jour éventuelle d’une plateforme. Au lieu de compiler une bibliothèque pour une version spécifique de la plateforme, on la compile pour une version du .NET Standard.
    Si la nouvelle version d’une plateforme est compatible avec le .NET Standard sur lequel se base des bibliothèques, on peut mettre à jour la plateforme sans craindre une incompatibilité de ces bibliothèques. En effet c’est le .NET Standard qui va garantir la compatibilité.

Différences entre une bibliothèque et un exécutable

L’approche .NET Standard ne convient pas dans tous les cas. Elle permet de faciliter le déploiement de bibliothèques en ajoutant une abstraction de façon à éviter de baser ces bibliothèques directement sur des plateformes. Cette approche est possible car dans la majorité des cas, une bibliothèque de classes n’utilisent pas d’API spécifiques à une plateforme donnée.

En revanche, si une bibliothèque utilise des API trop spécifiques à une plateforme (comme par exemple, WPF qui nécessite un système Windows), elle ne pourra pas se baser sur .NET Standard (.NET Standard ne comporte pas de classes WPF).
De la même façon, un exécutable est spécifique à une plateforme. On ne pourra pas baser une exécutable sur un .NET Standard. Un exécutable est implémenté pour une plateforme précise.

Pour rendre l’approche .NET Standard la plus efficace possible, il faut donc placer un maximum de code dans des bibliothèques qui se basent sur .NET Standard. Le reste du code, étant plus spécifique, se basera sur une plateforme précise.

.NET Core

En plus de .NET Standard qui permet une certaine abstraction, la technologie .NET Core est capable de compiler du code pour des plateformes différentes. En effet .NET Core est une implémentation de Microsoft qui a pour but de rendre la technologie .NET disponible sur plusieurs plateformes. Contrairement à .NET Standard, .NET Core permet de produire des bibliothèques de classes et des exécutables. A la compilation, on précise le framework cible et l’environnement où ces assemblies seront exécutées (Windows, Linux, MacOS etc…).

Ces assemblies sont, ainsi, déployables et exécutables sur des environnements et des plateformes différents.

Fichiers projet .csproj simplifiés

.NET Core et .NET Standard ont introduit une grande flexiblité dans la technologie .NET puisqu’ils permettent de facilement générer des assemblies exécutables sur des plateformes différentes. De façon à rendre ces technologies plus facilement implémentables sur des plateformes différentes de Windows, Microsoft a fait un grand effort pour simplifier l’installation d’un environnement de développement en passant par la CLI .NET Core (CLI pour Command Line Interface) et éviter l’installation trop complexe de Visual Studio. Dans son effort de simplification, les fichiers projet .csproj ont aussi été considérablement simplifié pour ne conserver que le stricte minimum en élément de configuration de façon à ce qu’ils soient facilement éditables à la main.

Par exemple, le fichier .csproj d’un projet permettant de produire un exécutable .NET Core contient les éléments suivants:

<Project Sdk="Microsoft.NET.Sdk"> 

  <PropertyGroup> 
    <OutputType>Exe</OutputType> 
    <TargetFramework>netcoreapp2.0</TargetFramework> 
  </PropertyGroup> 

</Project>

Avec la CLI .NET Core (cf. Commandes courantes de la CLI .NET Core), on peut créer un projet console en exécutant:

dotnet new console -n <nom du projet> 

Liste de fichiers du projet

Contrairement aux fichiers .csproj traditionels, par défaut le nouveau format n’indique pas explicitement les fichiers de code du projet. Tous les fichiers .cs font partie du projet, il n’est pas nécessaire de les spécifier un à un.

On peut toutefois spécifier les fichiers un à un ou avec une wildcard en désactivant le comportement par défaut avec l’élément de configuration EnableDefaultCompileItems et en utilisant l’option Compile:

<Project Sdk="Microsoft.NET.Sdk"> 

  <PropertyGroup>   
    <OutputType>Exe</OutputType> 
    <TargetFramework>netcoreapp2.0</TargetFramework>     
    <EnableDefaultCompileItems>false</EnableDefaultCompileItems>
  </PropertyGroup> 

  <ItemGroup> 
    <Compile Include="Program.cs"  />     
    <Compile Include="InternalClass.cs"  />     
  </ItemGroup>

</Project>

Référence entre projets

Les références entre projets sont indiquées en utilisant l’élément de configuration ProjectReference:

<Project Sdk="Microsoft.NET.Sdk"> 

  <!-- ... --> 

  <ItemGroup> 
    <ProjectReference Include="..\DotNetAssembly\DotNetAssembly.csproj" />
  </ItemGroup> 

</Project> 

On peut rajouter une référence d’un projet vers un autre en exécutant la commande CLI suivante:

dotnet add <chemin .csproj où ajouter la dépendance> reference  
<chemin .csproj à rajouter>

PackageReference vs packages.config

L’élément de configuration PackageReference concerne les packages NuGet installés pour le projet. Par exemple, si on rajoute le package NuGet Microsoft.AspNet.WepApi.Core au projet, le contenu du fichier projet .csproj devient:

<Project Sdk="Microsoft.NET.Sdk"> 

  <PropertyGroup> 
    <OutputType>Exe</OutputType> 
    <TargetFramework>netcoreapp2.0</TargetFramework> 
  </PropertyGroup> 

  <ItemGroup> 
    <PackageReference Include="Microsoft.AspNet.WebApi.Core" Version="5.2.6" />
  </ItemGroup> 

</Project>

On peut ajouter une référence vers un package NuGet en exécutant la commande CLI suivante:

dotnet add <chemin .csproj> package <nom du package NuGet>

Le fichier .csproj ne contient qu’une référence vers le package NuGet rajouté. Toutes les dépendances transitives du package ne sont pas indiquées dans le fichier. Les dépendances du packages NuGet ne sont pas rajoutées au fichier contrairement aux fichiers .csproj traditionnels.

Dans les projets Visual Studio traditionnels, les références vers les packages NuGet installés et les dépendances transitives sont ajoutés dans le fichier packages.config. D’autre part, le fichier projet .csproj contient des références vers les assemblies du package NuGet.

Configurer un projet multi-target

On peut facilement configurer le projet pour compiler le code pour plusieurs frameworks cibles en modifiant l’élément de configuration TargetFramework. Dorénavant, avec les nouveaux fichiers projet .csproj, il faut juste renommer l’élément TargetFramework en TargetFrameworks (avec un “s”):

<TargetFrameworks>netcoreapp2.0;netstandard2.0</TargetFrameworks>

Dans cet exemple, on produit des assemblies pour une application .NET Core 2.0 et une bibliothèque de classes pour .NET Standard 2.0. Les éléments netcoreapp2.0 et netstandard2.0 sont appelés TFM (pour Target Framework Moniker). Chaque code TFM correspond à un framework cible particulier, par exemple:

.NET Core netcoreapp2.0, netcoreapp2.1
.NET Framework net20
net45, net452
net46, net462
net47, net471, net472
.NET Standard netstandard2.0

On peut trouver une liste exhaustive des TFM utilisés sur la page suivante: docs.microsoft.com/fr-fr/nuget/reference/target-frameworks#supported-frameworks.

Utiliser des fichiers projet simplifiés dans Visual Studio

Le fichier projet .csproj traditionnel dans Visual Studio contient énormément de détails comme:

  • La liste des fichiers .cs de code du projet,
  • La liste des références d’assembly du projet qui peuvent être des assemblies tiers, des assemblies provenant d’un autre projet de la solution ou d’assemblies provenant de packages NuGet.
  • La liste des packages NuGet installés ainsi que les dépendances de chaque package est présente dans un fichier packages.config présent dans le projet.

Ces fichiers .csproj sont, malheureusement incontournables pour la plupart des projets générés dans Visual Studio en particulier les projets produisant des assemblies exécutables sur une plateforme Windows comme:

  • Les applications Winforms,
  • Les applications WPF,
  • Les projets ASP.NET,
  • Les applications Universal Windows (UWP).

En revanche il est possible d’utiliser des fichiers projet .csproj avec une syntaxe simplifiée pour les assemblies de type:

  • Bibliothèques de classes,
  • Applications console,
  • Applications ASP.NET Core,
  • Les applications .NET Core.

Configurer les packages NuGet en mode “PackageReference”

Cette configuration est valable pour tous les types de projet. Dans le mode par défaut, les dépendances NuGet sont indiquées dans un fichier packages.config présent dans le projet. Ce fichier contient plus précisement:

  • Les packages NuGet installés explicitement et
  • Les dépendances des packages NuGet installés.

Par exemple, si on installe dans un projet le package NuGet Microsoft.AspNet.Mvc, ce package sera installé et ajouté dans le fichier packages.config. D’autre part, les dépendances transitives de ce package seront aussi installées à savoir:

  • Microsoft.AspNet.WebPages
  • Microsoft.AspNet.Razor
  • Microsoft.Web.Infrastructure

La contenu du fichier packages.config devient:

<?xml version="1.0" encoding="utf-8"?> 
<packages> 
  <package id="Microsoft.AspNet.Mvc" version="5.2.6" targetFramework="net461" /> 
  <package id="Microsoft.AspNet.Razor" version="3.2.6" targetFramework="net461" /> 
  <package id="Microsoft.AspNet.WebPages" version="3.2.6" targetFramework="net461" /> 
  <package id="Microsoft.Web.Infrastructure" version="1.0.0.0" targetFramework="net461" /> 
</packages> 

Les assemblies contenues dans ces packages seront ajoutées au projet et visibles dans la partie “Références” (ou References) dans Visual Studio:

Pour configurer le mode “PackageReference” dans Visual Studio 2017:

  1. Cliquer sur le menu “Outils” (ou “Tools”) ⇒ “Options”
  2. Aller dans la partie “Gestionnaire de package Nuget” (ou “Nuget package manager”) ⇒ “Général”
  3. Dans la partie “Gestion de packages” (ou “package management”), sélectionner le paramètre “Format de gestion de package par défaut”: “PackageReference” au lieu de “packages.config”:
  4. Cliquer sur OK

Si avec cette configuration, on crée un nouveau projet (quel que soit le type) et si on ajoute un package NuGet, par exemple en exécutant dans la console du gestionnaire de package (i.e. Package Manager Console):

install-package Microsoft.AspNet.Mvc 

La présentation du projet dans Visual Studio est un peu différente:

  • Il n’y a plus de fichier packages.config
  • On ne voit plus qu’une référence vers le package NuGet installé, les dépendances transitives du package NuGet ne sont plus visibles:

Dans le fichier .csproj, il y a une référence vers le package installé mais pas de liens vers les dépendances transitives du package:

<?xml version="1.0" encoding="utf-8"?> 
<Project ToolsVersion="15.0" xmlns="http://schemas.microsoft.com/developer/msbuild/2003"> 

  <!-- ... --> 

  <ItemGroup> 
    <PackageReference Include="Microsoft.AspNet.Mvc"> 
      <Version>5.2.6</Version> 
    </PackageReference> 
  </ItemGroup>

  <!-- ... --> 

</Project>

De même, il n’y a pas de répertoire packages dans le répertoire du projet contenant les packages NuGet téléchargés. Les packages NuGet sont téléchargés dans le répertoire par défaut du cache c’est-à-dire:

%LocalAppData%\NuGet\Cache

L’utilisation du mode “PackageReference” présente plusieurs avantages:

  • Il simplifie considérablement le fichier projet .csproj puisqu’il n’y a plus les références d’assemblies. En effet, ces références changeaient à chaque mise à jour du package.
  • On ne voit plus les dépendances transitives des packages qui alourdissaient les fichiers projet .csproj.

En revanche, la résolution des conflits de versions dans les packages NuGet est plus complexe. Pour faciliter cette résolution, on peut:

Pour plus de détails, voir Nuget en 5 min.

A la compilation, les assemblies sont directement copiées dans le répertoire de sortie.

Rendre flexible la version d’une référence de package

Au lieu de figer la version de la référence de package NuGet comme dans l’exemple précédent:

<PackageReference Include="Microsoft.AspNet.Mvc"> 
  <Version>5.2.6</Version> 
</PackageReference>

On peut utiliser des wildcards pour indiquer la version de la dépendance:

<PackageReference Include ="Microsoft.AspNet.Mvc" version="5.2.*"/> 

On peut aussi indiquer des contraintes de version:

1.0 1.0 ≤ x Version 1.0 ou supérieure
(1.0,) 1.0 < x Version strictement supérieure à 1.0
[1.0] x == 1.0 Exactement la version 1.0
(,1.0] x ≤ 1.0 Version 1.0 ou antérieure
(,1.0) x < 1.0 Version strictement antérieure à 1.0
[1.0,2.0] 1.0 ≤ x ≤ 2.0 Version entre la 1.0 et 2.0
(1.0) indication non valide

Par exemple:

<PackageReference Include ="Microsoft.AspNet.Mvc" version="[5.0.0,5.2)"/>

Forcer l’utilisation d’un répertoire “packages” avec le mode “PackageReference”

On peut toutefois forcer la présence du répertoire packages dans le répertoire du projet en éditant le fichier .csproj et en ajoutant l’élément de configuration RestorePackagePath:

<?xml version="1.0" encoding="utf-8"?> 
<Project ToolsVersion="15.0" xmlns="http://schemas.microsoft.com/developer/msbuild/2003"> 
  <Import Project="$(MSBuildExtensionsPath)\$(MSBuildToolsVersion)\Microsoft.Common.props" 
  Condition="Exists('$(MSBuildExtensionsPath)\$(MSBuildToolsVersion)\Microsoft.Common.props')" /> 
  <PropertyGroup> 

    <!-- ... --> 

    <RestorePackagesPath>packages</RestorePackagesPath>
  </PropertyGroup> 

  <!-- ... --> 

</Project> 

Configurer un projet multi-target dans Visual Studio 2017

Comme indiqué plus haut, cette fonctionnalité est disponible pour les fichiers .csproj à la syntaxe simplifée. Cette syntaxe est possible seulement pour certains types de projet:

  • Bibliothèques de classes,
  • Applications console,
  • Applications ASP.NET Core,
  • Les applications .NET Core

Ainsi dans Visual Studio, si on crée un projet de type Console pour le framework .NET Core, les références du projet sont présentées de façon différente. Elles sont disponibles dans la partie “Dépendances” (i.e. Dependancies) du projet:

Traditionnellement dans les propriétés du projet, il est possible de modifier le framework cible. Pour accéder aux propriétés du projet, il faut:

  1. Faire un clique droit sur le projet dans Visual Studio
  2. Cliquer sur Propriétés
  3. Dans l’onglet “Application”, on peut éditer le paramètre “framework cible”:

Pour configurer le projet pour cibler plusieurs frameworks, il faut:

  1. Faire un clique droit sur le projet.
  2. Cliquer sur “Modifier <nom du projet>” (i.e. “Edit <nom du projet>”).
  3. Il est possible d’éditer le fichier .csproj directement dans Visual Studio (dans les versions actuelles, il n’existe pas d’éléments graphiques dans Visual Studio pour effectuer cette modification).
    Si “Modifier <nom du projet>” n’est pas présent, c’est que la syntaxe du fichier projet .csproj n’est pas une syntaxe simplifiée.
    Il n’y a pas d’assistants pour passer d’une syntaxe traditionnelle à une syntaxe simplifiée.
  4. Comme précédemment, il faut modifier le paramètre TargetFramework en ajoutant des TFM (i.e. Target Framework Moniker):
    <Project Sdk="Microsoft.NET.Sdk"> 
    
      <PropertyGroup> 
        <OutputType>Exe</OutputType> 
        <TargetFramework>netcoreapp2.1</TargetFramework>
      </PropertyGroup> 
    
    </Project>
    
  5. Ajouter un “s” à TargetFramework, par exemple:
    <Project Sdk="Microsoft.NET.Sdk"> 
    
      <PropertyGroup> 
        <OutputType>Exe</OutputType> 
        <TargetFrameworks>netcoreapp2.1;netstandard2.0</TargetFrameworks>
      </PropertyGroup> 
    
    </Project>
    
  6. Enregistrer le fichier .csproj.

Après rechargement du fichier par Visual Studio, les dépendances contiennent plusieurs frameworks cible:

En allant dans les propriétés du projet, on ne peut plus éditer le paramètre “Framework cible”:

Pourquoi configurer plusieurs plateformes cible alors qu’on peut utiliser .NET Standard ?

On peut se poser la question de savoir quelle est la nécessité de paramétrer plusieurs plateformes cible alors qu’il suffit de paramétrer une plateforme cible .NET Standard. Comme .NET Standard est compatible avec plusieurs frameworks (on peut voir les compatibilités sur la page docs.microsoft.com/fr-fr/dotnet/standard/net-standard), en configurant la plateforme cible .NET Standard, on s’assure d’être compatible avec tous les frameworks prenant en charge par le standard. C’est vrai, toutefois:

  • Comme indiqué plus haut, .NET Standard permet de produire des assemblies seulement pour les bibliothèques de classes. On ne peut pas paramétrer une cible correspondant à .NET Standard pour un exécutable. Si on souhaite produire des exécutables différents pour un même code, il faut pouvoir paramétrer des frameworks cibles différents.
  • Certains packages NuGet comportent des assemblies spécifiques à une plateforme donnée. Ces plateformes peuvent être différentes d’une version de .NET Standard. En paramétrant des frameworks cible précis, si la compilation réussit, on peut être sûr que les dépendances NuGet seront assurées pour les cibles paramétrées.
  • Un des intérêts de cette fonctionnalité est de produire des assemblies pour plusieurs frameworks à partir d’un même code. Il est possible d’affiner la compilation en appliquant des directives de compilation pour des plateformes spécifiques. On s’assure, ainsi, à la compilation que le code compilé est compatible avec le framework auquel il est destiné. Ces directives de compilation seront indiquées par la suite.

NuGet est intégré à MSBuild

Pour permettre de simplifier les fichiers, NuGet a été intégré à MSBuild. Cette intégration a plusieurs avantages:

  • L’exécution de NuGet fait partie d’une tâche MsBuild qu’on peut lancer directement en exécutant MsBuild. Par exemple, pour générer un package NuGet, on peut lancer la tâche suivante:
    msbuild.exe "<chemin du fichier projet .csproj>" /t:pack
    
  • On peut générer un package NuGet directement à la compilation du projet en allant dans les propriétés du projet dans Visual Studio, dans l’onglet “Package” et en cochant “Generate NuGet package on build”. On peut ainsi préciser des paramètres liés au package NuGet à générer, par exemple:
    <Project Sdk="Microsoft.NET.Sdk"> 
    
      <PropertyGroup> 
        <TargetFrameworks>netcoreapp2.1;netstandard2.0</TargetFrameworks> 
        <GeneratePackageOnBuild>True</GeneratePackageOnBuild> 
        <Company>CompanyName</Company> 
        <Authors>AuthorName</Authors> 
        <Description>Description</Description> 
        <Version>1.1.1</Version>
      </PropertyGroup> 
    
      <!-- ... --> 
    
    </Project> 
    

    Il existe un onglet de configuration dans Visual Studio dans les propriétés du projet:

  • On peut appliquer des conditions d’application pour l’utilisation d’une référence de package dans le fichier projet .csproj:
     <ItemGroup> 
        <PackageReference Include="Microsoft.AspNet.WebApi.Core" Version="5.2.6" 
        Condition = "'$(TargetFramework)' == 'netstandard2.0'" /> 
    </ItemGroup>
    

Pour plus d’informations: docs.microsoft.com/fr-fr/nuget/reference/msbuild-targets.

On peut effectuer le téléchargement des packages NuGet directement avec MsBuild dans une usine de build, on n’est plus obligé de configurer une étape supplémentaire pour exécuter nuget restore.

Possibilité d’avoir des symboles de préprocesseur dans le code.

On peut préciser des symboles de préprocesseur pour que des parties du code soient compilées pour une plateforme cible spécifique.

Par exemple:

public static class MultiTargetCode 
{ 
        public static string GetTargetFramework() 
        { 
#if NETCOREAPP2_1 
            return ".NET Core"; 
#elif NETFULL 
            return ".NET Framework"; 
#else 
            throw new NotImplementedException();  
#endif 
        } 
}

Quelques autres symboles de préprocesseur:

.NET Framework NET20, NET46, NET461, NET462, NET47, NET471, NET472
.NET Standard NETSTANDARD1_5, NETSTANDARD1_6, NETSTANDARD2_0
.NET Core NETCOREAPP2_0, NETCOREAPP2_1

Une liste exhaustive de ces symboles se trouve sur la page suivante: docs.microsoft.com/fr-fr/dotnet/standard/frameworks.

Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Les modules en Typescript en 5 min

Dans un article précédent, j’avais eu l’occasion d’évoquer les points les plus essentiels de la syntaxe Typescript (cf. L’essentiel de la syntaxe Typescript en 10 min). Volontairement, cet article ne traitait pas des modules, des exports et des imports d’objets de façon à parler de ces sujets dans un article à part entière. La raison principale qui a motivé un article séparé est que les modules correspondent à un sujet plus complexe que les différents éléments de syntaxe Typescript.

En effet, la définition des modules en Typescript hérite de la complexité des modules en Javascript. Comme on a pu l’indiquer dans un article consacré aux modules Javascript, il y a différentes méthodes pour définir des modules en Javascript. Etant donné que ce langage ne prévoyait pas de façon native les modules, ces différentes méthodes correspondent à autant de solutions pour tenter de les implémenter. A partir d’ECMAScript 2015 (i.e. ES6), l’implémentation de modules en Javascript peut se faire de façon native. Même si ES2015 a rendu obsolètes les solutions précédentes d’implémentation de modules, on ne peut pas complétement les ignorer car beaucoup de code existant les utilise encore.

Les modules Typescript sont moins complexes qu’ils y paraissent

De même que pour Javascript avant ES2015, Typescript a aussi, de son coté, dû trouver des éléments syntaxiques pour définir et implémenter des modules. Quand Javascript a implémenté ES2015, la syntaxe de Typescript s’est naturellement rapprochée de celle d’ES2015. La conséquence de cette évolution est que la notion de module peut être implémentée d’une part, avec des éléments syntaxiques spécifiques à Typescript et d’autre part, avec une syntaxe similaire à celle d’ES2015.

En préambule, cet article expliquera quelques éléments nécessaires à la compréhension des modules en Typescript. Dans un 2e temps, on indiquera quelques solutions pour implémenter des modules avant et après ES2015.

Préambule

Avant de rentrer dans le détail des syntaxes Typescript permettant d’implémenter des modules, il faut savoir comment ces modules sont transpilés en code Javascript. Avant ES2015, la notion de module n’était pas native à Javascript, il a donc fallu trouver une façon d’implémenter des modules. La méthode a été d’utiliser le pattern module et des IIFE (i.e. Immediatly-Invoked Function Expression ou Expression de fonction invoquée immédiatement).

Pattern module

Sans rentrer dans les détails, le pattern module permet d’implémenter la notion de module en Javascript avant ES2015. Ce pattern utilise une IIFE (i.e. Immediatly-Invoked Function Expression ou Expression de fonction invoquée immédiatement) pour définir le contenu du module. Une IIFE est un bloc de code qui est exécuté tout de suite après avoir été parsé. Dans ce bloc de code, on peut ainsi définir ce qui sera le module.

Une IIFE s’écrit de cette façon:

var Module = (function() {  
    // Bloc de code à exécuter 
})();

Pour utiliser une IIFE pour définir un module, on peut écrire par exemple:

var Module = (function() {  
    var self = {};  
    function privateFunc() {  
        // ...  
    };  

    self.publicFunc = function() {  
        privateFunc();  
    };  

    return self;  
})();  

Cette écriture permet de définir une variable appelée Module qui va contenir des membres et des fonctions, ce qui correspond à la notion de module:

  • privateFunc() est une fonction privée.
  • publicFunc() est une fonction publique.

Pour utiliser ce type de module, on peut l’instancier et l’appeler de cette façon:

var moduleInstance = new Module();  
moduleInstance.publicFunc();  

Pour être compatible avec ES5, les modules Typescript sont transpilés en utilisant le pattern module (pour plus de détails sur la syntaxe Javascript du pattern module, voir Les modules en Javascript en 5 min).

Directive “Triple-slash”

Cette directive dans l’en-tête d’un fichier Typescript permet d’indiquer au compilateur une référence vers un autre fichier en indiquant son emplacement physique. Le chemin est relatif par rapport au fichier contenant la référence. Cette directive doit être placée dans l’en-tête du fichier pour être valable, elle est de type:

/// <reference path="fichier.ts" /> 

Ce type de directive est essentiellement utilisé pour référencer des fichiers Typescript externes à un projet. La plupart du temps, avec les fichiers de configuration tsconfig.json, elle n’est plus nécessaire puisqu’il est possible d’indiquer dans ce fichier les emplacements des fichiers à compiler.

Par exemple, pour ne pas utiliser de directives triple-slash, on peut utilser les éléments de configuration "files" ou "include" dans un fichier tsconfig.json:

{ 
    ... 
    "files": [ 
        "fichier1.ts", 
        "fichier2.ts", 
        "fichier3.ts" 
    ], 
    "include": [ 
        "src/**/*" 
    ], 
    ... 
} 

Plus de détails sur ces éléments de configuration dans la partie sur la résolution des modules.

Un exemple d’utilisation d’une directive triple-slash se trouve dans le dépôt Github suivant: typescript_modules/typescript_triple-slash.

Cet exemple permet d’illustrer des appels d’un module à l’autre:

  • le module NamespaceForModule1 dans example/module1.ts appelle le module NamespaceForModule2 dans other_modules/modules2.ts. La directive est:
    /// <reference path="../other_modules/module2.ts" />
    
  • le module NamespaceForModule2 appelle le module NamespaceForModule3 dans other_modules/modules3.ts. La directive est:
    /// <reference path="module3.ts" /> 
    

Pour exécuter cet exemple, il faut:

  1. Aller dans le répertoire typescript_triple-slash/example et exécuter:
    user@debian:~/typescript_modules/typescript_triple-slash% npm install
    
  2. Compiler en exécutant la commande:
    user@debian:~/typescript_modules/typescript_triple-slash% npm run build
    
  3. Exécuter le serveur de développement avec l’instruction:
    user@debian:~/typescript_modules/typescript_triple-slash% npm start
    
  4. Ouvrir la page http://localhost:8080 dans un browser
  5. Enfin, il faut afficher la console de développement.
Pour afficher la console de développement dans un browser

Pour tous les exemples présentés dans cet article, pour voir les résultats d’exécution, il faut afficher la console de développement:

  • Sous Firefox: on peut utiliser la raccourci [Ctrl] + [Maj] + [J] (sous MacOS: [⌘] + [Maj] + [J], sous Linux: [Ctrl] + [Maj] + [K]) ou en allant dans le menu “Développement web” ⇒ “Console du navigateur”.
  • Sous Chrome: utiliser le raccourci [F12] (sous MacOS: [⌥] + [⌘] + [I], sous Linux: [Ctrl] + [Maj] + [I]) puis cliquer sur l’onglet “Console”. A partir du menu, il faut aller dans “Plus d’outils” ⇒ “Outils de développement”.
  • Sous EDGE: utiliser le raccourci [F12] puis naviguer jusqu’à l’onglet “Console”.

Le résultat de la compilation est de type:

Executed from module1.privateFunc() 
Executed from module2.privateFunc() 
Executed from module2.publicFunc() 
Executed from module3.privateFunc() 
Executed from module3.publicFunc() 
Executed from module1.publicFunc()
Suppression du cache du browser

Sachant que tous les exemples présentés dans cet article utilisent la même URL http://localhost:8080, il peut subvenir certaines erreurs pendant leur exécution. Ces erreurs peuvent être dues au cache utilisé dans les browsers, en particulier pour les fichiers Javascript. Pour éviter que d’anciennes versions du fichiers restées dans le cache ne soient exécutées à la place de nouveaux fichiers:

  • On peut forcer le rechargement de la page avec le raccourci [Ctrl] + [Maj] + R
  • On peut aussi supprimer les fichiers se trouvant dans le cache en exécutant le raccourci [Ctrl] + [Maj] + [Supp]

Implémenter des modules en Typescript

Il existe plusieurs méthodes pour implémenter des modules en Typescript:

  • Utiliser des namespaces: ils se rapprochent de la notion de namespace en C#. Ils sont transpilés en modules en Javascript.
  • Avant ES2015/ES6: il faut utiliser des formats pour étendre la syntaxe Javascript pour permettre l’implémentation de modules. Ces formats peuvent CommonJS, AMD (i.e. Asynchronous Module Definition) ou UMD (i.e. Universal Module Definition). Ces formats doivent être associés à des loaders qui permettent de charger les modules transpilés en Javascript au runtime.
  • Utiliser la syntaxe ES2015/ES6: à partir d’ES2015, Javascript prévoit des éléments de syntaxe pour implémenter nativement des modules. En Typescript, la syntaxe permettant d’implémenter ce type de module est très proche de celle en Javascript.

Namespaces

Les namespaces correspondent à une notion spécifique à Typescript pour implémenter des modules en Javascript. Les namespaces en Typescript sont très semblables aux namespaces en C#: il s’agit d’un découpage du code en bloc correspondant à des modules logiques.

Comme pour les namespaces en C#, les namespaces Typescript:

  • Ont des noms qui se définissent avec une hiérarchie du type <namespace1>.<namespace2>.<namespace3>, par exemple:
    mainNs.intermediateNs.innerNs 
    
  • Les blocs de code sont inclus dans les namespaces, par exemple:
    namespace nsName { 
        // Bloc de code 
    } 
    
  • Sont indépendants des fichiers Typescript: on peut utiliser un même namespace dans des fichiers différents. Les éléments dans le namespace seront, ainsi, regroupés.

Les namespaces sont une approche permettant d’implémenter des modules en Javascript mais elle n’est pas la seule. D’autres approches permettent d’implémenter cette notion.

Avant Typescript 1.5, les namespaces Typescript étaient appelés “internal modules“. Ce terme prête particulièrement à confusion puisqu’il facilite la confusion entre la notion de module Typescript et les modules à proprement parlé en Javascript. Il est important d’avoir en tête que cette notion de namespace n’est pas tout à fait semblable aux modules en Javascript.

Mot clé namespace et module sont strictement équivalents

Au niveau de la syntaxe Typescript, le mot clé namespace peut être remplacé par le mot clé module. Dans ce contexte, les 2 mots clé sont équivalents.

Un exemple d’implémentation de namespaces se trouvent dans le dépôt Github suivant: typescript_modules/typescript_namespace.

Cet exemple permet d’illuster des appels d’un module à l’autre. Les différents modules sont définis dans des namespaces différents.

Par exemple, le namespace module1Namespace qui se trouve dans le fichier module1.ts:

namespace module1Namespace { 
    function privateFunc() { 
        console.log("Executed from module1.privateFunc()"); 
    } 

    export function publicFunc() { 
        privateFunc(); 

        console.log("Executed from module1.publicFunc()"); 

        namespaceForModule2.publicFunc(); 
    } 
} 

Dans ce fichier, on importe le namespace module2Namespace se trouvant dans le fichier module2.ts de cette façon:

import namespaceForModule2 = module2Namespace; 

On peut ensuite appeler une fonction se trouvant dans le namespace module2Namespace en écrivant:

namespaceForModule2.publicFunc(); 

L’utilisation de la directive import est complétement facultative et sert uniquement à définir l’alias namespaceForModule2, on peut se contenter d’appeler directement:

module2Namespace.publicFunc(); 

De même que précédemment, pour compiler cet exemple:

  1. Il faut exécuter les instructions suivantes pour, respectivement, installer les packages npm, compiler et démarrer le serveur de développement:
    user@debian:~/typescript_modules/typescript_namespace% npm install && npm run build && npm start
    
  2. Ouvrir la page http://localhost:8080 dans un browser.
  3. Afficher la console de développement.

Le résultat de l’exécution est semblable à celui de l’exemple précédent.

On peut remarquer que le résultat de la compilation produit un module au sens Javascript en utilisant le pattern module. Par exemple, si on regarde le résultat de la compilation du contenu du fichier module1.ts dans le fichier public/module1.js:

 var namespaceForModule2 = module2Namespace; 
var module1Namespace; 
(function (module1Namespace) { 
    function privateFunc() { 
        console.log("Executed from module1.privateFunc()"); 
    } 

    function publicFunc() { 
        privateFunc(); 
        console.log("Executed from module1.publicFunc()"); 
        namespaceForModule2.publicFunc(); 
    } 

    module1Namespace.publicFunc = publicFunc; 
})(module1Namespace || (module1Namespace = {}));

Les namespaces peuvent être mergés

Les namespaces peuvent être mergés. Ainsi on peut définir des objets dans un même namespace réparti sur plusieurs fichiers Typescript à condition de ne pas avoir de collision dans le nommage des objets exportés.

Dans le répertoire typescript_modules/typescript_mergin_namespace se trouve un exemple d’un namespace défini sur plusieurs fichiers Typescript.

Par exemple, on définit le namespace module2Namespace dans le fichier module2.ts:

namespace module2Namespace { 
    function privateFunc() { 
        console.log("Executed from module2.privateFunc()"); 
    } 

    export function publicFunc() { 
        privateFunc(); 
        console.log("Executed from module2.publicFunc()"); 
        otherPublicFunc(); 
    } 
}

Et dans le fichier module3.ts:

namespace module2Namespace { 
    function privateFunc() { 
        console.log("Executed from privateFunc() in module3.ts"); 
    } 

    export function otherPublicFunc() { 
        privateFunc(); 
        console.log("Executed from otherPublicFunc() in module3.ts"); 
    } 
} 

A condition d’exporter des éléments avec le mot clé export, on peut utiliser plusieurs fichiers pour définir un namespace. Les fichiers module2.ts et module3.ts seront transpilés en 2 fichiers Javascript qui définissent un seul module Javascript.

Pour compiler, il faut exécuter:

user@debian:~/typescript_modules/typescript_merging_namespace% npm install && npm run build

Parmi les fichiers générés, on obtient module2.js:

var module2Namespace; 
(function (module2Namespace) { 
    function privateFunc() { 
        console.log("Executed from module2.privateFunc()"); 
    } 

    function publicFunc() { 
        privateFunc(); 
        console.log("Executed from module2.publicFunc()"); 
        module2Namespace.otherPublicFunc(); 
    } 

    module2Namespace.publicFunc = publicFunc; 
})(module2Namespace || (module2Namespace = {})); 

Et module3.js:

var module2Namespace; 
(function (module2Namespace) { 
    function privateFunc() { 
        console.log("Executed from privateFunc() in module3.ts"); 
    } 

    function otherPublicFunc() { 
        privateFunc(); 
        console.log("Executed from otherPublicFunc() in module3.ts"); 
    } 

    module2Namespace.otherPublicFunc = otherPublicFunc; 
})(module2Namespace || (module2Namespace = {})); 

On remarque que ces fichiers permettent de définir un même module nommé module2Namespace.

Pour exécuter cet exemple, il faut exécuter:

user@debian:~/typescript_modules/typescript_merging_namespace% npm start 

Il faut ensuite ouvrir un browser à l’adresse http://localhost:8080 et afficher la console de développement.

Implémenter des modules avant ES2015

Les namespaces Typescript ne correspondent pas tout à fait aux modules Javascript. Ils correspondent à un découpage logique du code qui peut être séparé en plusieurs fichiers. A l’opposé les modules Javascript sont découpés par fichier: un fichier correspond à un module le plus souvent.

Avant Typescript 1.5, namespace et module s’appelaient différemment:

  • Les namespaces s’appelaient “internal modules” et
  • Les modules s’appelaient “external modules“.

Même si les notions de namespace Typescript et de module sont différentes, après compilation du code, les namespaces Typescript sont transpilés en module Javascript en utilisant le pattern module. En effet, avant ES2015, Javascript ne gérait pas de façon native la notion de module. Le pattern module est un moyen de contournement pour définir des modules. Pour implémenter ces modules, on peut s’aider de formats qui vont apporter des mot-clés pour enrichir le langage Javascript et permettre une implémentation plus facile des modules sans écrire explicitement le pattern module.

En Typescript, on bénéficie de ces formats et on peut, comme en Javascript, les utiliser pour implémenter des modules Javascript avant ES2015. Au runtime, pour charger les modules en utilisant le format, il faut s’aider de loaders. Les formats les plus connus sont CommonJS, AMD (i.e. Asynchronous Module Definition) et UMD (i.e. Universal Module Definition). Les loaders les plus connus sont RequireJS (utlisant le format AMD), SystemJS (qui permet de gérer plusieurs formats).

CommonJS + SystemJS

CommonJS et SystemJS sont respectivement un format et un loader permettant d’implémenter les modules avant ES2015. Il existe d’autres formats comme AMD ou UMD. Un exemple d’implémentation de module en utilisant CommonJS se trouve dans le dépôt Github suivant: typescript_modules/typescript_commonjs. Cet exemple permet d’illustrer des appels entre modules.

Comme en Javascript, CommonJS permet de définir un format pour enrichir le langage avec une fonction qui va permettre d’effectuer des références vers un autre module. La fonction utilisée pour inclure des modules provenant d’un autre fichier est require.

Par exemple, si on écrit:

var moduleInFile = require('./file.js');  

On définit une variable locale contenant le module se trouvant dans le fichier file.js. On peut directement utiliser les éléments se trouvant dans le module en les préfixant avec moduleInFile.

CommonJS sert de format pour la compilation. Pour l’exécution du code, il est nécessaire d’utiliser un loader qui va interpréter la syntaxe définie par le format CommonJS et charger les modules Javascript. SystemJS est un loader qui permet d’interpréter le format CommonJS.

Pour plus de détails sur CommonJS et SystemJS, voir CommonJS + SystemJS.

Dans le cas de notre exemple, si on regarde le code du module se trouvant dans le fichier module1.ts:

import importedModule2 = require('./module2'); 

function privateFunc() { 
    console.log("Executed from module1.privateFunc()"); 

    importedModule2.publicFunc(); 
} 

export function publicFunc() { 
    privateFunc(); 

    console.log("Executed from module1.publicFunc()");
} 

On importe le module2 en utilisant la fonction require du format CommonJS:

import importedModule2 = require('./module2'); 

Puis on utilise l’alias défini pour appeler une fonction se trouvant dans le module2:

importedModule2.publicFunc(); 

Pour compiler, il faut exécuter:

user@debian:~/typescript_modules/typescript_commonjs% npm install && npm run build

Après compilation, la syntaxe produit des modules compatibles avec le format CommonJS:

"use strict"; 
Object.defineProperty(exports, "__esModule", { value: true }); 
var importedModule2 = require("./module2"); 
function privateFunc() { 
    console.log("Executed from module1.privateFunc()"); 
    importedModule2.publicFunc(); 
} 

function publicFunc() { 
    privateFunc(); 

    console.log("Executed from module1.publicFunc()"); 
} 

exports.publicFunc = publicFunc; 

Pour exécuter ce code, il faut effectuer quelques ajouts dans la page HTML principale en important systemJS puis en le configurant:

<!DOCTYPE html> 
<html lang="en"> 
    <head> 
        <meta charset="UTF-8">  
        <title>Test module Typescript with /// (triple-slash)</title> 
        <script src="node_modules/systemjs/dist/system.js"></script>  
        <script> 
            // Le code suivant correspond à de la configuration  
            SystemJS.config({  
                meta:{     
                    format: 'cjs'  // cjs correspond à la configuration pour le format commonjs  
                },     

                packages: { 
                "/public": { defaultExtension: "js" }   // pour charger par défaut les fichiers avec l'extension JS 
                }
            });  

            SystemJS.import('public/index.js'); 
        </script>
    </head>    
    <body>
    </body> 
</html> 

Pour exécuter cet exemple, il faut exécuter la commande:

  1. user@debian:~/typescript_modules/typescript_commonjs% npm start
    
  2. Se connecter avec un browser à l’adresse http://localhost:8080
  3. Afficher la console de développement.

Le résultat de l’exécution est semblable à celui des exemples précédents.

Modules ES2015/ES6

Il est possible d’utiliser la syntaxe ES2015 dans le code Typescript pour définir des modules Javascript. Les modules Javascript ainsi compilés ont les mêmes caractéristiques que des modules ES2015 classiques. Ils sont supportés nativement par Node.js et par les browsers à partir d’une certaine version:

  • Chrome à partir de la version 63.
  • Firefox à partir de la version 60,
  • Edge à partir de la version 16,
  • Safari à partir de la version 11,
  • Node.js à partir de la version 10.

Pour plus d’informations sur les compatibilités des browsers:

Le code Javascript comportant des modules ES2015 s’exécute de plusieurs façons:

  • Exécuter le code Javascript sur un serveur Node.js: à partir de la version 10, Node.js gère nativement le chargement de modules au format ES2015.
  • Il est aussi possible d’associer un loader comme RequireJS ou SystemJS qui va charger lui-même les modules.

Les propriétés les plus importantes à avoir en tête avec les modules ES2015 sont les suivantes:

  • Par défaut, tous les modules ES2015 sont privés.
  • Un fichier Javascript correspond à un module.
  • Pour exposer des éléments comme des variables, des fonctions ou des classes à l’extérieur d’un module, il faut utiliser le mot-clé export.

Exporter un module

La syntaxe Typescript utilisant des modules est semblable à celle en Javascript. Il faut exporter explicitement les éléments pour les utiliser à l’extérieur d’un module.

Pour exporter, on utilise le mot-clé export.

Par exemple:

export function func1() {  
    // ...  
}  

Dans cet exemple, on exporte une fonction à l’extérieur du module.

D’autres formes de syntaxe sont possibles pour exporter plusieurs éléments du module en une fois:

function func1() {  
    // ...  
}  

function func2() {  
    // ...  
}  

export { func1, func2 };

On peut aussi indiquer l’instruction export avant la déclaration des éléments à exporter:

export { func1, func2 };

function func1() {  
    // ...  
}  

function func2() {  
     // ...  
}  

On peut indiquer un alias lors de l’export:

export { func1 as exporterFunc1 };  

function func1() {  
    // ...  
}

Importer un module

L’import d’un module correspond à importer les éléments exportés par ce module dans un autre.

Pour importer tous les éléments exportés d’un module dans une variable, on peut utiliser la syntaxe:

import * as moduleInFile from './file'; 

Dans ce cas, la variable est moduleInFile, on peut l’utiliser directement pour accéder aux éléments du module, par exemple:

moduleInFile.func1();  

On peut importer un élément spécifique et non pas tous les éléments exportés du module en précisant les éléments à importer à partir de leur nom, par exemple:

import { func1 as funcFromOuterModule, func2 } from './file';  

func1 as funcFromOuterModule permet de renommer le nom de l’élément importé. Cette déclaration est facultative, ainsi elle n’est pas utilisée pour func2.

Dans ce cas, on peut appeler directement les fonctions:

func2();  
funcFromOuterModule();  

Export par défaut

L’export d’un élément par défaut permet d’indiquer l’élément qui sera importé dans un module si ce dernier ne précise pas ce qui doit être importé. Ainsi, au moment d’importer l’élément d’un module, il ne sera pas nécessaire de préciser le nom de l’élément à importer, l’élément par défaut sera le seul élément importé même si le fichier comporte d’autres éléments.

Par exemple:

function func1() {  
    // ...  
}  

function func2() {  
    // ...  
}  

export default func1;  

Au moment d’importer, le seul élément importé sera l’élément exporté par défaut:

import func1 from "file";   

L’import ne comporte pas d’accolades. C’est l’élément par défaut qui est importé.

L’élément importé par défaut peut être utilisable directement:

func1();  

Export nommé

On peut nommer un export de façon à modifier le nom de l’élément qui est exporté.

Par exemple, dans un premier temps on exporte un élément en le renommant:

function func1() {  
    // ...  
}  

function func2() {  
    // ...  
}  

export default func1;  
export var finalFunc = func2;

En plus de l’élément par défaut, on décide de renommer un élément exporté.

A l’import, il faut indiquer le nouveau nom de l’élément:

import { finalFunc } from "./file";  

On peut directement utilisé le nouveau nom de l’élément:

finalFunc();  

Dans cet exemple, si on souhaite importer l’élément par défaut, on peut écrire:

import func1, { finalFunc } from "./file";  

Configuration du compilateur

Il existe une option de compilation qui permet d’indiquer la syntaxe à utiliser pour les modules dans le code Javascript et pour générer du code Javascript avec une syntaxe différente. L’option module permet d’indiquer le format à utiliser pour la génération des modules:

{ 
    "compilerOptions": { 
        "module": "es6"
    } 
} 

Les valeurs possibles sont "CommonJS", "AMD", "UMD", "ES6", "ES2015", "ESNEXT" ou "None". Si on utilise "None", on ne peut pas déclarer des modules dans le code Typescript. Il ne faut pas confondre ce paramètre avec target qui indique la version d’ECMAScript cible de compilation. La configuration module ne concerne que le format utilisé pour les modules.

Ainsi, si on utilise l’option:

  • "es6" ou "es2015": il faut préciser l’extension ".js" dans les déclarations import dans les fichiers Typescript, par exemple:
    import { finalFunc } from "./file.js";
    

    Cette déclaration sera transpilée tel quel dans le fichier Javascript. Au runtime, pour que le browser ou Node.js puisse trouver le fichier à importer, il faut qu’il comporte l’extension du fichier Javascript.

  • "CommonJS": le format généré sera CommonJS. Au runtime, il faut associer ce format à un loader comme par exemple SystemJS.
  • "AMD": le format généré sera AMD. De même au runtime, il faut associer ce format à un loader comme par exemple RequireJS.
  • "UMD": le format généré sera UMD (i.e. Universal Module Definition). Ce format permet de générer compatible avec plusieurs formats comme AMD et CommonJS.

On peut aussi préciser le format au moment d’exécuter le compilateur:

tsc --module <nom du format>

Par exemple:

tsc --module es6

Exemple avec la syntaxe ES2015/ES6

Un exemple d’implémentation de modules en utilisant la syntaxe ES2015/ES6 se trouvent dans le dépôt Github suivant: typescript_modules/typescript_es6. Cet exemple permet d’illustrer des appels d’un module à l’autre en utilisant la syntaxe ES6.

Pour exécuter cet exemple:

  1. Il faut exécuter les instructions suivantes pour, respectivement, installer les packages npm, compiler et démarrer le serveur de développement:
    user@debian:~/typescript_modules/typescript_es6% npm install && npm run build && npm start
    
  2. Ouvrir la page http://localhost:8080 dans un browser.
  3. Afficher la console de développement.

Le résultat de l’exécution est semblable à celui des exemples précédents.

Exemple avec la syntaxe AMD

Un exemple d’implémentation de modules générés au format AMD se trouve dans le dépôt Github suivant: typescript_modules/typescript_es6_amd. Cet exemple permet d’illustrer la génération des modules au format AMD.

Pour exécuter cet exemple, il faut installer les packages en exécutant les commandes:

  1. Il faut exécuter les instructions suivantes pour, respectivement, installer les packages npm, compiler et démarrer le serveur de développement:
    user@debian:~/typescript_modules/typescript_es6_amd% npm install && npm run build && npm start
    
  2. Ouvrir la page http://localhost:8080 dans un browser.
  3. Afficher la console de développement.

Le format AMD ajoute une fonction qui n’existe pas dans la syntaxe Javascript: define. Cette fonction comporte 2 paramètres:

  • Une tableau de dépendances: ce sont les fichiers nécessaires à l’exécution de la fonction.
  • Une fonction: cette fonction est le module à définir.

On peut voir un exemple d’utilisation de la fonction define en regardant le résultat de la compilation, par exemple dans le répertoire typescript_es6_amd/build/index.js:

define(["require", "exports", "./module1.js"], function (require, exports, module1_js_1) { 
    "use strict"; 
    Object.defineProperty(exports, "__esModule", { value: true }); 
    var Startup = /** @class */ (function () { 
        function Startup() { 
        } 

        Startup.main = function () { 
            module1_js_1.publicFunc(); 
            return 0; 
        }; 

        return Startup; 
    }()); 

    Startup.main(); 
}); 

Avec ce format, le loader utilisé est RequireJS. Il est inclus dans le code HTML de la page principale index.html:

<script data-main="app" src="node_modules/requirejs/require.js"></script> 

L’attribut data-main="app" correspond au point d’entrée de l’application qui est à un fichier Javascript app.js contenant la configuration de requireJS.

Le résultat de l’exécution est semblable à celui des exemples précédents.

Génération de code compatible avec ES5

Comme on a pu le voir pour l’exemple utilisant le format AMD, on a utilisé dans le code Typescript une syntaxe ES2015. Pourtant les modules ont été générés au format AMD qui compatible avec ES5. Il en est de même si on génère les modules en utilisant le format CommonJS.

Utilisation de “bundlers”

Les solutions présentées jusqu’içi ont un gros inconvénient: elles nécessitent d’inclure tous les fichiers Javascript générés dans le fichier HTML principal. Dans les exemples, on déclare les scripts Javascript correspondant aux différents modules de cette façon:

<!DOCTYPE html> 
<html lang="en"> 
    <head> 
        <meta charset="UTF-8">  
        <title>Test module Typescript ES6</title> 
    </head>    
    <body> 
        <script src="module3.js" ></script> 
        <script src="module2.js" ></script> 
        <script src="module1.js" ></script> 
        <script src="index.js" ></script>
    </body> 
</html> 

Ce type de déclaration peut être difficile à maintenir à l’échelle d’un grand projet.

Une solution pour palier à ce problème peut être d’utiliser des bundlers qui vont générer un fichier Javascript unique en incluant toutes les dépendances au moment de la compilation. Le code produit sera compatible ES5 et utilisable sur tous les browsers supportant ES5. Le gros inconvénient des bundlers est qu’ils vont générer un seul fichier contenant tout le code Javascript. Dans le cas d’une grosse application et si l’application comporte beaucoup de code Javascript, le temps de chargement du fichier bundle peut prendre du temps et ralentir le chargement de la page principale.

Les bundlers les plus connus sont Browserify ou webpack.

Exemple d’utilisation de webpack avec la syntaxe ES2015

Un exemple d’implémentation de modules en utilisant le bundler webpack se trouve dans le dépôt Github suivant: typescript_modules/webpack_es6. Cet exemple permet d’illustrer la génération d’un bundle contenant des modules implémentés au format ES2015.

Pour utiliser le bundler webpack, on a installé les packages webpack et ts-loader. Le package ts-loader permet à webpack de s’interfacer avec le compilateur Typescript. Pour exécuter webpack avec un serveur de développement, on a installé le package webpack-dev-server. Pour effectuer ces installations, on a exécuté la commande suivante:

npm install --save-dev webpack ts-loader webpack-dev-server 

Le fichier de configuration de webpack qui se trouve dans typescript_modules/webpack_es6/webpack.config.js permet d’indiquer qu’on souhaite utiliser le loader ts-loader et que le résultat de la compilation se fasse dans le fichier public/app.js. Le contenu de ce fichier est:

const path = require('path'); 

module.exports = { 
    entry: './index.ts', 
    module: { 
      rules: [ 
        { 
          use: 'ts-loader', 
          exclude: /node_modules/ 
        } 
      ] 
    }, 
    resolve: { 
      extensions: [ '.tsx', '.ts', '.js' ] 
    }, 
    output: { 
      filename: 'app.js', 
      path: path.resolve(__dirname, 'public') 
    } 
}; 

Pour lancer la compilation avec webpack en utilisant le fichier de configuration, on peut exécuter la commande suivante:

webpack ./webpack.config.js --mode development 

Enfin pour utiliser le bundle, il suffit de rajouter le script correspondant au bundle dans le fichier HTML principal:

<!DOCTYPE html> 
<html lang="en"> 
    <head> 
        <meta charset="UTF-8">  
        <title>Test module TS with webpack</title> 
    </head>
    <body>
        <script src="app.js" ></script>
    </body> 
</html> 

Pour lancer l’exécution avec le serveur de développement de webpack, on peut exécuter la commande suivante:

webpack-dev-server ./webpack.config.js --content-base ./public --mode development 

Plus simplement dans le cadre de cet exemple, on peut aussi:

  1. Exécuter les commandes suivantes qui effectuent toutes ces opérations:
    user@debian:~/typescript_modules/webpack_es6% npm install && npm run build && npm start
  2. Charger la page http://localhost:8080 sur un browser.
  3. Afficher la console de développement.

Le résultat de l’exécution est semblable à celui des exemples précédents.

Exemple d’utilisation de webpack avec la syntaxe “namespace”

Les différentes syntaxes d’implémentation de modules sont possibles avec webpack. On a montré précédemment un exemple avec le format ES2015. Il est facile de transposer cet exemple en utilisant le format namespace spécifique à Typescript.

Un exemple d’implémentation avec la syntaxe des namespaces se trouve dans le dépôt Github suivant: typescript_modules/webpack_es6_namespace. L’exemple est le même que précédemment, à la différence de l’utilisation de namespaces pour déclarer des modules (la syntaxe générale des namespaces a été explicitée plus haut).

Comment le compilateur parcourt les modules ?

Pour trouver les modules suivant les références faites avec la directive triple-slash ou avec import, le compilateur effectue une étape de résolution. Cette résolution des modules se fait en partie en fonction de la configuration. De nombreux éléments de configuration peuvent avoir un impact sur la façon de réaliser cette résolution.

D’une façon générale, le compilateur Typescript tsc inclue dans son étape de compilation tous les fichiers qui se trouvent dans le répertoire du fichier de configuration tsconfig.json.

Avant de compiler ces fichiers, le compilateur va résoudre les dépendances de modules en fonction des directives import et triple-slash.

Paramètres de compilation “files”, “include” et “exclude”

Le comportement du compilateur lors de la résolution de modules peut être modifié par l’utilisation de certains paramètres dans le fichier tsconfig.json:

  • "files": ce paramètre permet d’indiquer les chemins absolus ou relatifs des fichiers à compiler:
    { 
       "compilerOptions": {}, 
       "files": [ 
           "file1.ts", 
           "file2.ts", 
           "file3.ts"
       ] 
    }
    

    Quand ce paramètre est présent, le compilateur ne va pas parcourir tous les fichiers .ts/.tsx/.d.ts présents dans le répertoire du fichier de configuration tsconfig.json mais seulement les fichiers précisés et leur références.

  • "include": permet d’indiquer des fichiers en utilisant des wildcards:
    { 
       "compilerOptions": {}, 
       "include": [ 
           "src/**/*"
       ] 
    } 
    

    Les wildcards utilisables sont:

    • "*" pour indiquer un ensemble de caractères.
    • "?" pour indiquer un seul caractère.
    • "**/" pour parcourir récursivement tous les répertoires enfants.

    Dans l’exemple, le compilateur va donc parcourir récursivement tous les fichiers et répertoires se trouvant dans le répertoire src.

  • "exclude": permet d’exclure des fichiers se trouvant dans le parcours des fichiers .ts/.tsx/.d.ts du compilateur:
    { 
       "compilerOptions": {}, 
       "exclude": [ 
           "folder", 
           "file*.ts, 
           "**/innerFile*.ts"
       ] 
    } 
    

    Les wildcards indiquées plus haut sont aussi utilisables avec le paramètre "exclude".

Import relatif et non-relatif

Il faut distinguer 2 types d’import:

  • Les imports relatifs: ces imports se font de façon relatives au fichier dans lequel on veut effectuer l’import. Ainsi si on écrit dans le fichier fileA.ts:
    import * from './fileB.ts';
    

    La recherche de la dépendance se fera dans le même répertoire que le fichier fileA.ts

  • Les imports non-relatifs: ces imports ne se font pas en fonction de l’emplacement du fichier dans lequel on effectue l’import. Il se fait dans des répertoires définis suivant une stratégie de recherche. Cette stratégie dépend de la configuration.

    Pour ce type d’import, on indique directement le nom du module (sans indication de répertoire ou d’extension de fichier).

    Par exemple:

    import * from 'moduleName'; 
    

Stratégies de résolution des modules

Il existe 2 stratégies de résolution des modules:

  • "Classic": correspond à un parcours du répertoire de compilation et des répertoires parents.
  • "Node": cette stratégie imite la stratégie de résolution de Node.js avec les fichiers Javascript. Elle permet de parcourir le répertoire où se trouve le fichier .ts d’où se fait l’import ou le répertoire "node_modules".

On peut préciser la stratégie de résolution en ajoutant l’option --moduleResolution au lancement du compilateur:

tsc --moduleResolution "Node" 

Par défaut, la stratégie est classique si le type de module choisi dans tsconfig.json est "AMD", "System" ou "ES6". Si un autre type de module est choisi, la stratégie est "Node".

Stratégie classique: “Classic”

La stratégie classique consiste à parcourir le répertoire de compilation du fichier d’où se fait l’import en cherchant les fichiers avec une extension .ts ou .d.ts:

  • Dans le cas d’un import relatif: la recherche se fait seulement dans le répertoire cible de l’import. Par exemple si le fichier dans /folder/file1.ts effectue un import:
    import { module2 } from '../folder2/moduleName'; 
    

    Alors le parcours se fera en cherchant successivement les fichiers /folder2/moduleName.ts et /folder2/moduleName.d.ts.

  • Dans le cas d’un import non-relatif: la recherche se fait dans le répertoire du fichier d’où se fait l’import et dans les répertoires parents.

    Par exemple si le fichier dans /folder/file1.ts effectue un import:

    import { module2 } from 'moduleName'; 
    

    Alors le parcours se fera en cherchant successivement les fichiers: /folder/moduleName.ts, /folder/moduleName.d.ts, /folder/moduleName.ts et /folder/moduleName.d.ts.

Stratégie “Node”

Cette stratégie imite celle de Node.js pour la résolution des imports des fichiers Javascript:

  • Dans le cas d’un import relatif: le parcours se fait dans le répertoire du fichier d’où se fait l’import. Par exemple si le fichier dans /folder/file1.ts effectue un import:
    import { module2 } from '../folder2/moduleName'; 
    

    Alors le parcours se fera successivement en cherchant les fichiers:

    • /folder2/moduleName.ts, /folder2/moduleName.tsx ou /folder2/moduleName.d.ts
    • /folder2/moduleName/package.json (en utilisant la propriété "types" dans ce fichier)
    • /folder2/moduleName/index.ts, /folder2/moduleName/index.tsx ou /folder2/moduleName/index.d.ts.
  • Dans le cas d’un import non-relatif: le parcours se fait dans le répertoire node_modules (ce répertoire correspond au répertoire d’installation des packages NPM).

    Par exemple si le fichier dans /folder/file1.ts effectue un import:

    import { module2 } from 'moduleName'; 
    

    Alors le parcours se fera dans le répertoire node_modules se trouvant dans le répertoire du fichier en cherchant un fichier correspondant aux chemins suivants:

    • /folder/node_modules/moduleName.ts, /folder/node_modules/moduleName.tsx ou /folder/node_modules/moduleName.d.ts,
    • /folder/node_modules/moduleName/package.json,
    • /folder/node_modules/moduleName.index.ts, /folder/node_modules/moduleName.index.tsx ou /folder/node_modules/moduleName.index.d.ts.

    Le parcours se fera, ensuite, dans le répertoire node_modules se trouvant dans un répertoire parent:

    • /node_modules/moduleName.ts, /node_modules/moduleName.tsx ou /node_modules/moduleName.d.ts,
    • /node_modules/moduleName/package.json,
    • /node_modules/moduleName.index.ts, /node_modules/moduleName.index.tsx ou /node_modules/moduleName.index.d.ts.

Paramètres de compilation “baseUrl”, “paths” et “rootDirs”

Ces paramètres peuvent modifier les chemins utilisés lors de l’application de la stratégie de recherche des modules à importer.

“baseUrl”
Il permet d’indiquer un préfixe que le compilateur appliquera systématiquement aux imports non-relatifs. Ce paramètre peut être précisé à l’exécution du compilateur:

tsc --baseUrl "../moduleFolder/" 

Il peut aussi être précisé dans le fichier tsconfig.json:

{ 
   "compilerOptions": { 
       "baseUrl": "../moduleFolder/"
   } 
} 

“paths”
Ce paramètre permet de préciser un mapping entre des noms de module et leur chemin effectif. La valeur du paramètre "baseUrl" est rajouté aux chemins des mappings précisés dans "paths".

Par exemple pour la configuration suivante:

{ 
   "compilerOptions": { 
       "baseUrl": "../moduleFolder/", 
       "paths": { 
            "moduleName": [ "otherModules/moduleName" ] 
       }
   } 
} 

Si on effectue l’import non-relatif suivant:

import { module2 } from 'moduleName'; 

L’import sera fait dans le répertoire (par rapport à l’emplacement du fichier tsconfig.json):

../moduleFolder/otherModules/moduleName 

Il est possible d’utiliser plusieurs répertoires de mapping:

{ 
  "compilerOptions": { 
    "baseUrl": "../moduleFolder/", 
    "paths": { 
      "moduleName": [  
        "otherModuleFolder1/moduleName", 
        "otherModuleFolder2/moduleName"
      ] 
    } 
  } 
} 

L’import sera fait en cherchant dans les répertoires: ../moduleFolder/otherModuleFolder1/moduleName et ../moduleFolder/otherModuleFolder2/moduleName.

Il est aussi possible d’utiliser le caractère "*" pour introduire plus de flexiblité au moment de l’import. Par exemple si le fichier de configuration est:

{ 
  "compilerOptions": { 
    "baseUrl": "../moduleFolder/", 
    "paths": { 
      "*": [  
        "otherModuleFolder1/*", 
        "otherModuleFolder2/*"
      ] 
    } 
  } 
} 

Si on effectue l’import:

import 'folder/moduleName'; 

L’import sera fait en cherchant dans les répertoires: ../moduleFolder/otherModuleFolder1/folder/moduleName et ../moduleFolder/otherModuleFolder2/folder/moduleName.

“rootDirs”
Ce paramètre permet d’indiquer au compilateur des répertoires virtuels qui doivent être mergés après le déploiement de l’application.

Par exemple, s’il existe plusieurs répertoires indiqués dans le paramètre "rootDirs": "folder1", "folder2" et "folder3". A chaque fois qu’un import relatif est effectué à partir de l’un de ces répertoires, le compilateur va effectuer une recherche des modules dans tous les répertoires comme si leur contenu était mergé.

Si la configuration est:

{ 
  "compilerOptions": { 
    "rootDirs": [  
      "otherModuleFolder1", 
      "otherModuleFolder2"
    ] 
  } 
} 

Et si un import est effectué de cette façon:

import 'otherModuleFolder1/moduleName'; 

Le compilateur va effectuer la recherche dans les répertoires otherModuleFolder1/moduleName et otherModuleFolder2/moduleName.

Débugger la résolution de modules

En rajoutant l’option suivante au compilateur, on peut avoir des messages de logs lors de la résolution des modules:

tsc --traceResolution 

Pour conclure…

Comme en Javascript, les modules en Typescript peuvent être implémentés de façon très différente. Il est possible de passer par les namespaces qui correspondent à une séparation logique du code et qui sont spécifiques à Typescript. On peut aussi utiliser des syntaxes plus proches du Javascript avec des formats comme CommonJS, AMD ou ES2015. L’intérêt d’utiliser une syntaxe plus proche de celle en Javascript permet de coller davantage à la notion des modules Javascript séparant le code en fichiers.
D’une façon générale, il est conseillé de privilégier la notion des modules Javascript par rapport aux namespaces. En effet, les namespaces ajoutent une couche hiérarchique aux objets dans le but d’éviter les collisions de nom. A l’opposé les modules Javascript, du fait de leur séparation en fichiers, évitent les collisions de nom sans ajouter de couche hiérarchique.
Comme on a pu le voir, la définition de modules en Typescript hérite de la syntaxe Javascript et ajoute la notion de namespace. En revanche la notion d’import de modules externes n’a pas été abordé dans cet article. Ce point fera l’objet d’un article ultérieur.

Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Téléchargement de composants .NET hors-ligne

Le plus souvent, les fichiers d’installation des composants .NET impliquent d’être connecté à internet au moment de l’installation. Par exemple, c’est le cas pour Visual Studio Community ou les Build tools. Parfois, on peut ne pas disposer d’une connexion au moment de l’installation, en particulier si on effectue l’installation sur un serveur qui se trouve sur un réseau fermé.

Ces fichiers d’installation peuvent être exécutés hors-ligne toutefois ils nécessitent une manipulation au préalable.

Préparation du fichier d’installation

Pour utiliser les fichiers d’installation hors-ligne, il faut, d’abord, télécharger toutes les dépendances du fichier en exécutant la ligne:

<fichier d'installation> --layout <répertoire de sortie> --lang <code langue> 

Par exemple, dans le cadre des Build Tools, pour télécharger tous les fichiers d’installation, il faut exécuter la ligne suivante:

vs_buildtools.exe --layout C:\OfflineBuildTools --lang en-US 

D’autres langues sont possibles:

  • pour le français, il faut utiliser le code fr-FR.
  • D’autres codes de langues sont disponibles sur la page suivante: List of language locales.

Le gros inconvénient de cette méthode est qu’elle entraîne le téléchargement de toutes les dépendances. Ce qui représente 12GB de fichiers d’installation dans le cas des Build Tools.

Pour éviter de tout télécharger, il est possible d’indiquer les composants à télécharger en les indiquant en utilisant l’option --add <nom du composant>.

Par exemple:

<fichier d'installation> --layout <répertoire de sortie> --lang <code langue> 
    --add <composant 1> 
    --add <composant 2>

Une liste exhaustive des composants par fichier d’installation se trouve sur la page suivante:
Visual Studio 2017 workload and component IDs

On peut ensuite ajouter des options pour télécharger certaines dépendances des composants comme:

  • --includeRecommended pour télécharger les composants conseillés
  • --includeOptional pour télécharger les composants optionels.
Téléchargement interrompu

Si jamais le téléchargement s’interrompt, il suffit de ré-exécuter la commande avec les mêmes arguments. Le téléchargement reprendra où il s’est interrompu. Les fichiers déjà téléchargés ne seront, alors, pas re-téléchargés.

Exécuter l’installateur hors-ligne

Après avoir copié les fichiers d’installation sur la machine cible, il faut d’abord installer les certificats:

  1. Aller dans le répertoire téléchargé:
    <répertoire des fichiers d'installation>\certificates
  2. Double-cliquer sur chaque fichier de certificat (fichiers avec une extension .p12).
    Dans le cas où l’assistant demande un mot de passe, il faut le laisser vide.
  3. Ensuite, on peut exécuter l’installateur qui se trouve dans le répertoire téléchargé.
    Dans le cas des Build Tools, le fichier est vs_buildtools.exe.

Si tous les composants ont été correctement téléchargés, une connexion internet n’est pas requise.

Dans le cas où on souhaite modifier, réparer, mettre à jour ou désinstaller une installation existante, on peut exécuter l’exécutable dans le répertoire téléchargé en double-cliquant dessus ou exécuter à la ligne de commandes une instruction du type:

<répertoire des fichiers d'installation>\<fichier d'installation> <commande>

Par exemple, pour les Build Tools:

vs_buildtools.exe <commande> 

Les commandes possibles sont:

  • modify pour modifier une installation existante.
  • update pour mettre à jour une composant déjà installé
  • repair pour réparer une installation existante
  • uninstall pour désinstaller.
Erreur quand on modifie une installation existante

Si un erreur survient au cours de l’exécution d’une commande, il faut essayer de désinstaller complétement le composant en allant dans le panneau de configuration. Puis le réinstaller sans utiliser de commande particulière.

Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Les modules en Javascript en 5 min

A l’origine Javascript était utilisé en tant que langage de script pour des pages web. Au fil du temps, ce langage est devenu le langage de base de nombreuses applications web. Jusqu’à très récemment il n’existait pas de concept de module en Javascript à proprement parlé. Par exemple, il était impossible de référencer directement un script Javascript à partir d’un autre. Dans un premier temps, cette limitation a eu pour conséquence de devoir stocker le code Javascript dans un même fichier, ce qui est possible pour de simples scripts mais peut s’avérer très vite compliqué pour des applications de grandes tailles.

Découper du code en plusieurs parties apportent de nombreux avantages par rapport à un code monobloc:

  • Le premier avantage est de rendre le code plus lisible puisqu’on peut le séparer, par exemple, en fonctionnalités.
  • Le code séparé en modules facilite sa réutilisation dans le reste de l’application mais aussi dans d’autres applications.
  • La gestion des dépendances entre modules est simplifiée: chaque module indique clairement ses dépendances. En cas de problème ou de dépendances cassés, on peut identifier plus facilement le ou les modules qui font défaut.
  • Les modules rendent le code plus facilement extensible car on peut plus aisément rajouter un ou plusieurs modules et les utiliser.
  • Enfin, les modules favorisent l’encapsulation pour éviter d’exposer une complexité qui n’est pas nécessaire.

Même si la notion de module n’existait pas nativement en Javascript, il a fallu trouvé un moyen de moduler le code pour le rendre plus facilement lisible. Plusieurs outils sont apparus pour étendre le Javascript et permettre une implémentation facile des modules.

Cet article a pour but de montrer quelques solutions pour implémenter des modules en Javascript:

  • En s’aidant d’outils externes pour les versions de Javascript antérieures à EcmaScript 2015.
  • En profitant de la gestion native des modules à partir d’EcmaScript 2015 (i.e. ES2015 ou ES6).

Dans premier temps, on va présenter quelques caractéristiques historiques du langage Javascript qui justifient une syntaxe particulière pour l’implémentation des modules. On va, ensuite, indiquer des solutions pour implémenter des modules avant ES2015. Pour terminer, on va expliciter la syntaxe désormais native, des modules avec ES2015.

Quelques caractéristiques de la syntaxe Javascript

En préambule, on peut expliquer quelques caractéristiques de la syntaxe Javascript qui ont permis l’implémentation du pattern module avant ES2015.

Portée de variables

La portée des variables est l’élément le plus important pour motiver le découpage en module du code en Javascript. Ainsi les variables déclarées sans le mot-clé var ont une portée globale c’est-à-dire que leur valeur persiste tout au long de la durée de vie de l’application jusqu’à leur prochaine affectation.

Cette portée globale peut entraîner plus facilement des bugs:

  • Si on modifie la valeur d’une variable dans un endroit du code, elle sera persistée et pourra être utilisée à d’autres endroits non identifiés.
  • A l’inverse, la valeur d’une variable peut être modifiée par une partie du code qu’on ne maitrise pas, ce qui peut entrainer une valeur différente de celle attendue.

Pour ces raisons:

  • On déclare les variables pour une portée limitée pour en maitriser la valeur.
  • On déclare ces variables dans le corps d’une fonction avec le mot-clé var pour limiter la portée au corps de la fonction.

Par exemple, dans le code suivant, la portée de la variable globalVar est globale (car il n’y a pas le mot clé var):

function customFunction() { 
    globalVar = 1; // la portée est globale 

    var privateVar = 2; // la portée est locale 
}

A l’inverse, la portée de privateVar est locale à la fonction.

Fonction dans une fonction

Il est possible de déclarer des fonctions dans le corps d’une fonction (i.e. closures). Cette caractéristique sert pour la définition du pattern module plus loin.

Par exemple:

function customFunc1() { 
    function customFunc2() { 
         // ...
    }; 
} 

La fonction customFunc2() est encapsulée dans la fonction customFunc1().

Fonctions anonymes

Les fonctions anonymes ou expressions lambda correspondent à la même notion qu’en C#: on affecte une fonction à une variable. L’intérêt est de pouvoir passer cette fonction en paramètre d’une autre fonction par l’intermédiaire de cette variable.

Par exemple, une fonction anonyme se déclare de cette façon:

var anonymousFunc = function() { 
    // ... 
}; 

anonymousFunc est la variable contenant la fonction. Il faut penser à utiliser le caractère “;” à la fin de la déclaration. On peut appeler cette fonction en utilisant directement la variable:

anonymousFunc();  

L’existence de la fonction est liée à la portée de la variable anonymousFunc. Si cette variable est hors de portée, elle peut être supprimée par le garbage collector.

Le “pattern” module

Ce pattern utilise les notions abordées précédemment pour définir une unité de code avec des variables dont la portée est locale à cette unité. On peut encapsuler une partie du code ou au contraire choisir d’exposer d’autres parties ce qui permet de d’implémenter la notion de module sans qu’elle soit nativement et explicitement prévue par le langage.

Pour implémenter cette notion de module:

  • On encapsule une fonction dans une variable,
  • On définit une variable dans le corps de la fonction et on retourne cette variable en retour de la fonction pour en exporter la valeur.

Par exemple:

var Module = (function() { 
    var self ={}; // On définit une variable vide 

    self.publicVariable = 1; // On ajoute des attributs à cette variable 

    var privateVar = 1; // variable privée 

    // On peut affecter une fonction anonyme 
    self.publicMethod = function() { 
        // ...
    }; 

    return self;  // On exporte la variable pour l'utiliser à l'extérieur par l'intermédiaire de la variable Module 
})(); 

L’utilisation des éléments de syntaxe var Module = (function() { ... })(); est importante car elle permet d’indiquer une fonction qui sera exécutée tout de suite c’est-à-dire une IIFE (pour Immediatly Invoked Function Expression). L’IIFE est exécutée en même temps que le code est parsé donc les déclarations dans le module sont exécutées et dans notre cas, les différentes variables sont définies.

Dans le corps du module, la variable self est la plus importante car elle est retournée à la fin de l’exécution. Ainsi les éléments déclarés avec la syntaxe self.element peuvent être accessibles à l’extérieur du module en utilisant la syntaxe Module.element.

A l’opposé, les éléments déclarés dans le corps du module avec une syntaxe du type suivant, ne sont pas accessibles à l’extérieur:

var privateVar = 1;  

Les variables déclarées dans le corps du module ne sont accessibles qu’aux fonctions du module.

Par exemple, si on écrit:

var Module = (function() { 
    var self = {}; 

    function privateFunc() { 
        // ... 
    }; 

    self.publicFunc = function() { 
        privateFunc(); 
    }; 

    return self; 
})(); 

privateFunc() est une fonction privée accessible seulement dans le corps du module. A l’opposé, self.publicFunc est accessible à l’extérieur en utilisant la syntaxe Module.publicFunc().

Le “pattern” Constructor

Il est possible de définir des modules sans les exécuter en utilisant le pattern module et l’utilisation des IIFE comme on l’a vu précédemment.

Un autre type de déclaration permet d’instancier un module de cette façon:

var moduleInstance = new Module(); 

Pour instancier un module de cette façon, sa déclaration est du type:

var Module = function() { 
    var message = "message1"; // élément de construction 

    function printMessage() { 
        console.log(message); 
    } 

    // On utilise ce type de déclaration pour exporter la fonction printMessage. 
    return { 
        printMessage: printMessage 
    } 
}; 

On peut remarquer qu’on n’utilise pas la syntaxe correspondant aux IIFE.

Pour appeler le module avec ce type de déclaration, il faut utiliser la syntaxe:

moduleInstance.printMessage(); 

Déclaration de plusieurs modules

Il est possible d’utiliser un module dans le corps d’un autre module à condition d’avoir définit les modules dans le bon ordre. Ainsi, pour pouvoir utiliser un module, il faut l’avoir défini au préalable.

Par exemple:

var Module1 = (function() { 
    var self = {}; 

    self.publicFunc = function() { … }; 
    return self; 
})(); 

var Module2 = (function() { 
    var self = {}; 

    self.publicFunc = function() { 
        Module1.publicFunc(); 
    }; 

    return self; 
})(); 

Dans le cas de l’exemple, il faut que le module nommé module1 soit définit avant le module nommé module2.

Sous-modules

On peut imbriquer des modules l’un dans l’autre. D’abord, on définit un module parent, ensuite on peut définir un module enfant en ajoutant un attribut au module parent.

Par exemple:

var ModuleParent = (function() { 
    // ... 
})(); 

ModuleParent.SousModule = (function() { 
    // ...
})(); 

Il faut noter quelques règles concernant ces sous-modules:

  • Les sous-modules ne peuvent accéder qu’aux éléments publiques du module parent.
  • Les éléments privés ne sont accessibles que dans le corps du module.

Module parent

On utilise souvent une variable globale qui contient tous les modules pour éviter de définir des modules et de les écraser par la suite (si on le déclare plusieurs fois). On définit, alors, une variable contenant tous les modules.

Par exemple, si on appelle cette variable Application:

var Application = Application || {}; 

L’écriture précédente signifie qu’on définit une variable vide si elle n’existe pas sinon on utilise la variable existante.

Ensuite on définit les modules en utilisant des attributs de la variable Application:

Application.Module1 = (function(){ 
    // ... 
}){}; 

On peut définir un autre module de cette façon:

Application.Module2 = (function(){ 
    // ... 
}){}; 

Enfin, pour éviter d’écraser des modules s’ils ont déjà été définis, on utilise la notation correspondant à l’extension de module:

Application.Module1 = (function(self){ 
    // ...  
    // Pas de déclaration de self car on l'utilise en argument. 
})(Application.Module1 || {}); 

La notation Application.Module1 || {} signifie que s’il n’existe pas de module nommé Module1 alors on crée une variable vide sinon on utilise l’instance existante.

Implémenter des modules avant ES2015

Comme indiqué en préambule, Javascript ne proposait pas de gestion native des modules avant ES2015. Avant cette version, l’implémentation de modules a donc nécessité de tirer partie de la syntaxe existante de Javascript. Ainsi, le pattern module décrit dans la partie précédente, permet d’implémenter des modules avant ES2015. Le gros inconvénient de ce pattern est qu’il nécessite de déclarer tous les modules dans le même fichier Javascript.

On peut trouver un moyen de charger plusieurs fichiers de scripts Javascript en indiquant ces scripts directement dans l’en-tête du fichier HTML principal en utilisant des balises <scripts>, par exemple:

<script type="text/javascript" src="script1.js" /> 
<script type="text/javascript" src="script2.js" /> 
<script type="text/javascript" src="script3.js" /> 
<script type="text/javascript" src="script4.js" /> 

On peut déclarer les différents scripts en omettant l’attribut type="text/javascript" qui est facultatif.

Les modules déclarés en utilisant cette méthode ont de gros inconvénients:

  • Le code est moins lisible puisqu’il faut indiquer tous les scripts au préalable dans le fichier principal.
  • On ne peut pas charger de fichiers de façon asynchrone, tous les fichiers Javascript doivent être chargés au chargement de la page.
  • Il faut qu’ils soient déclarés dans le bon ordre. Si une dépendance n’est pas satisfaite au moment où on souhaite l’utiliser, le code ne s’exécutera pas correctement.
  • Suivant la façon avec laquelle les modules sont déclarés, ils peuvent être écrasés si, par mégarde, on les définit plusieurs fois.

Un exemple d’implémentation de modules en ES5 se trouve dans le dépôt GitHub suivant: es5-browser. Cet exemple permet d’illustrer des appels d’un module à l’autre:

  • le module 1 appelle le module 2 et
  • le module 2 appelle le module 3.

Dans cet exemple:

  • On déclare tous les scripts dans le fichier index.html.
  • Les modules sont définis dans les fichiers module1.js, module2.js et module3.js.
  • La fonction permettant de démarrer l’exécution se trouve dans le fichier app.js.
  • JQuery est seulement utilisé pour lancer l’exécution dans app.js au chargement de la page HTML principale.

Pour exécuter cet exemple, il faut simplement ouvrir le fichier index.html avec un browser et afficher la console de développement.

Affichage de la console de développement dans un browser

Pour tous les exemples provenant du dépôt GitHub https://github.com/msoft/javascript_modules, pour voir les résultats d’exécution, il faut afficher la console de développement:

  • Sous Firefox: on peut utiliser la raccourci [Ctrl] + [Maj] + [J] (sous MacOS: [⌘] + [Maj] + [J], sous Linux: [Ctrl] + [Maj] + [K]) ou en allant dans le menu “Développement web” ⇒ “Console du navigateur”.
  • Sous Chrome: utiliser le raccourci [F12] (sous MacOS: [⌥] + [⌘] + [I], sous Linux: [Ctrl] + [Maj] + [I]) puis cliquer sur l’onglet “Console”. A partir du menu, il faut aller dans “Plus d’outils” ⇒ “Outils de développement”.
  • Sous EDGE: utiliser le raccourci [F12] puis naviguer jusqu’à l’onglet “Console”.

L’exemple précédent affichera dans la console de développement un résultat du type:

Executed from module3.SubModule.init()
Executed from module3.privateFunc()
Executed from module3.init()
Executed from module2.publicFuncModule2()
Executed from module1.privateFunc()
Executed from module1.publicFuncModule1()

Utiliser des “loaders”

Pour éviter tous les inconvénients liés à la déclaration préalable des scripts contenant les modules dans l’entête de la page HTML principale, on peut passer par l’intermédiaire de loaders qui vont apporter une flexibilité supplémentaire en enrichissant la syntaxe Javascript. Pour faciliter le chargement des modules, loaders se basent sur une syntaxe particulière correspondant à un “format” pour savoir comment charger les modules:

  • Format: correspond à la syntaxe utilisée pour indiquer des modules dans le code Javascript. Cette syntaxe est interprétée par le loader.
  • Loader: il aide à interpréter un format de module spécifique.

Du code Javascript peut être exécuté sur un browser directement ou à partir d’un serveur Node.js. Suivant la façon d’exécuter le code, on peut être amené à utiliser un format particulier et un loader spécifique.

Les formats les plus connus sont CommonJS, AMD (i.e. Asynchronous Module Definition) et UMD (i.e. Universal Module Definition). Les loaders les plus connus sont RequireJS (utlisant le format AMD), SystemJS (qui permet de gérer plusieurs formats).

Utiliser des “bundlers” ou des “transpilers”

En plus des loaders, il est possible d’exécuter des outils pour compiler du code Javascript pour générer un code Javascript capable d’être exécuté dans des environnement différents et plus hétérogènes.

Ces outils peuvent être des bundlers qui vont générer un fichier Javascript unique en incluant toutes les dépendances au moment de la compilation. Le code produit sera compatible ES5 et utilisable sur tous les browsers supportant ES5. Le gros inconvénient des bundlers est qu’ils vont générer un seul fichier contenant tout le code Javascript. Dans le cas d’une grosse application et si l’application comporte beaucoup de code Javascript, le temps de chargement du fichier bundle peut prendre du temps et ralentir le chargement de la page principale.

Les bundlers les plus connus sont Browserify ou webpack.

Une autre solution est de passer par des transpilers qui vont, de même, générer un code Javascript compatible avec ES5 après une étape de compilation. Les transpilers proposent une syntaxe plus étendues que celles des bundlers qui sont plus spécifiques à la gestion des modules.

Les transpilers le plus connus sont Babel, Typescript et CoffeeScript.

Pour utiliser le bundler Browserify, il faut:

  1. Installer Browserify avec npm:
    npm install --save-dev browserify
    
  2. L’exécuter en utilisant le module principal et en dirigant le résultat de la génération dans un répertoire de sortie. Par exemple, en exécutant:
    node_modules/.bin/browserify js/app.js --outfile build/bundle.js 
    

    Le résultat de la génération se trouve dans le fichier build/bundle.js

  3. Pour charger le fichier bundle final à partir de la page principale, il faut ajouter la ligne suivante dans le fichier HTML principal:
    <script src = "./build/bundle.js"></script> 
    

Pour utiliser le transpiler webpack et Babel, on peut réaliser les étapes suivantes:

  1. Installer webpack et Babel avec npm en exécutant:
    npm install --save-dev babel-loader babel-core babel-preset-env webpack
    
  2. Configurer le fichier de configuration de webpack webpack.config.js avec les paramètres suivants:
    var path = require('path'); 
    var webpack = require('webpack');
    
    module.exports = { 
       entry: './src/index.js', // point d'entrée de l'application
       module: { 
        rules: [
          {
              test: /\.js$/,
              loader: 'babel-loader',     // On utilise le loader Babel
              query: {
                  presets: ['es2015']   // Paramétrage de Babel
              }
          }
         ]
       }, 
       resolve: { 
         extensions: [ '.tsx', '.ts', '.js' ] 
       }, 
       output: { 
         filename: 'app.js',      // Fichier de sortie
         path: path.resolve(__dirname, 'public')  // Répertoire de sortie
       } 
    };
    
  3. Ajouter la ligne suivante dans le fichier HTML principal:
    <script type="text/javascript" src="public/app.js"></script> 
    

Un exemple plus complet se trouve dans le dépôt GitHub: es6_webpack_babel. Cet exemple permet d’illustrer l’utilisation de webpack et du transpiler Babel pour générer un bundle compatible ES5 à partir du code Javascript ES6/ES2015. Cet exemple permet d’effectuer des appels d’un module à l’autre.

Pour exécuter cet exemple, il faut:

  1. Télécharger les packages npm en exécutant la ligne: npm install dans le répertoire de l’exemple,
  2. Exécuter le commande npm run build pour que webpack génère le bundle,
  3. Lancer le serveur web de développement en exécutant la commande npm run start
  4. Se connecter à l’adresse http://127.0.0.1:8080 pour voir le résultat de l’exécution après avoir ouvert la console de développement.

Le résultat est très similaire à celui obtenu avec les modules ES5.

Synthèse des possibilités

Suivant le cas d’utilisation et la façon d’exécuter le code Javascript, on peut utiliser un format particulier ce qui implique ensuite un bundler et/ou un transpiler particulier.

On peut synthétiser les différentes possibilités dans le tableau suivant:

Format CommonJS AMD UMD
Environnement d’exécution Principalement sur un serveur Node.js mais il est possible de l’exécuter directement sur un browser avec des bundlers. Browser Serveur et browser
Outils utilisables
  • Avec Node.js, il n’est pas nécessaire d’utiliser un loader, CommonJS est géré nativement.
  • Directement sur un browser, on peut utiliser Browserify ou webpack pour générer un bundle.
  • SystemJS en tant que loader de modules
  • RequireJS,
  • SystemJS
  • Avec Node.js, on peut générer des modules compatibles avec CommonJS.
  • Sur un browser, on peut générer des modules AMD et utiliser RequireJS ou SystemJS.
  • On peut aussi générer un bundle avec webpack.
Chargement asynchrone Non Oui Oui
Relation avec le système de fichiers 1 – 1 N – N N – N

Exemples de syntaxe

AMD + RequireJS

AMD est le format utilisé par le loader RequireJS. Il rajoute une fonction qui n’existe pas dans la syntaxe Javascript: define. Cette fonction comporte 2 paramètres:

  • Une tableau de dépendances: ce sont les fichiers nécessaires à l’exécution de la fonction.
  • Une fonction: cette fonction est le module à définir.

La fonction define est interprétée par le loader, ce n’est pas une fonction Javascript.

Par exemple:

define([], function() {  
    function func1() {
         // ...
    }

    function func2() { 
         // ...
    }

    return { 
        func1: func1, 
        func2: func2 
    } 
}); 

define(['./module1', './module2'], 
    function(module1, module2) { 
        // ...
    }); 

Les modules sont injectés dans la fonction en paramètres. module1 et module2 indiquent les fichiers Javascript sans l’extension .js.

Pour utiliser le loader RequireJS:

  1. Il faut l’installer avec npm en exécutant:
    npm install --save requirejs 
    
  2. Il faut l’inclure dans le code HTML de la page principale:
    <script data-main="app" src="node_modules/requirejs/require.js"></script> 
    

    L’attribut data-main="app" correspond au point d’entrée de l’application qui est à un fichier Javascript contenant la configuration de requireJS.

Un exemple de cette implémentation se trouve dans le dépôt GitHub suivant: amd_requirejs-browser. Cet exemple permet d’illustrer l’utilisation d’AMD et du loader RequireJS pour permettre d’effectuer des appels d’un module à l’autre. Cet exemple est exécutable sur un browser.

Pour exécuter cet exemple, il faut:

  1. Exécuter la commande npm install dans le répertoire de l’exemple,
  2. Ouvrir le fichier index.html directement avec un browser après avoir ouvert la console de développement.

Le résultat dans la console de développement est:

Executed from main
main: calling module1 
Executed from module1Func()
main: calling module2
Executed from module2Func()
Executed from module1Func()
Executed from module3Func()

CommonJS + SystemJS

CommonJS est le format utilisé par le loader SystemJS et nativement par Node.js. En utilisant le format CommonJS, la définition est différente de celle d’AMD, on déclare les fonctions et on les ajoute aux modules en tant qu’attribut.

Par exemple:

function func1() { 
    // ... 
} 

function func2() { 
    // ... 
} 

Module.exports = { 
    func1: func1, 
    func2: func2 
}; 

Pour inclure des modules provenant d’un autre fichier, on utilise la fonction require.

Par exemple:

var moduleInFile = require('./file.js'); 

Avec cette déclaration, moduleInFile est une variable locale utilisable directement:

moduleInFile.func1(); 

Pour utiliser le loader systemJS:

  1. Il faut l’installer avec npm en exécutant la commande:
    npm install --save systemjs 
    
  2. Il faut inclure dans le code HTML de la page principale la référence suivante:
    <script src="node_modules/systemjs/dist/system.js"></script> 
    <script  
          // Le code suivant correspond à de la configuration 
          System.config({ 
               meta: {    
                   format: 'cjs'  // cjs correspond à la configuration pour le format commonjs 
               } 
         }); 
    
         System.import('js/module1.js')
           .then(function(module1) {
               module1.publicFuncModule1();
           }); // import de systemjs 
    </script> 
    

System.import permet d’indiquer au loader le module root. Il ne doit pas être une dépendance d’une autre module.

Un exemple de cette implémentation se trouve dans le dépôt GitHub suivant: commonjs_systemjs-node. Cet exemple permet d’illustrer l’utilisation de CommonJS avec le loader SystemJS exécuté sur un serveur Node.js. L’exemple montre des appels d’un module à l’autre.

Pour exécuter cet exemple, il faut:

  1. Exécuter la commande npm install dans le répertoire de l’exemple,
  2. Lancer le serveur web de développement en exécutant la commande npm run start
  3. Se connecter à l’adresse http://127.0.0.1:8080 pour voir le résultat de l’exécution après avoir ouvert la console de développement.

Les modules à partir de ES2015/ES6

La norme ES2015/ES6 ajoute des fonctionnalités par rapport à ES5 comme let, var, const et les modules. Toutefois ES2015 n’est pas compatible avec tous les browsers. Si on implémente une application en ES2015, elle pourrait ne pas s’exécuter sur des browsers non compatibles. Pour palier à ce problème, on peut utiliser des transpilers qui peuvent convertir le code ES2015 en ES5 de façon à ce qu’il soit compatible avec la grande majorité des browsers. On code ainsi, en bénéficiant de la syntaxe ES2015 et le code exécuté est compatible ES5.

Les modules ES2015 sont supportés nativement par:

  • Chrome à partir de la version 63.
  • Firefox à partir de la version 60,
  • Edge à partir de la version 16,
  • Safari à partir de la version 11,
  • Node.js à partir de la version 10.

Pour plus d’informations sur les compatibilités des browsers:

Il existe plusieurs façons d’exécuter du code Javascript comportant des modules ES2015:

  • Exécuter le code Javascript sur un serveur Node.js: à partir de la version 10, Node.js gère nativement le chargement de modules au format ES2015.
  • Il est aussi possible d’associer un loader comme RequireJS ou SystemJS qui va charger lui-même les modules.
  • On peut générer des bundles compatibles ES5 en utilisant Browserify ou webpack.

Export et import de modules

Les propriétés les plus importantes à avoir en tête avec les modules ES2015 sont les suivantes:

  • Par défaut, tous les modules ES2015 sont privés.
  • Un fichier Javascript correspond à un module.
  • Pour exposer des éléments comme des variables, des fonctions ou des classes à l’extérieur d’un module, il faut utiliser le mot-clé export.
Mode strict en ES5

Il est possible d’utiliser le mode strict (i.e. strict mode en ES5). Ce mode permet de ne pas déclarer des variables par inadvertance car il faut obligatoirement déclarer une nouvelle variable en utilisant var. Si on se trompe en effectuant une affectation de variable et en se trompant dans le nom de la variable, il y aura une erreur de façon à éviter qu’une variable avec un mauvais nom ne soit déclarée au niveau global et ainsi, affecter correctement une valeur à la bonne variable.

Pour utiliser le mode strict, il faut l’indiquer dans les premières lignes d’un script Javascript, par exemple:

"use strict"; 

var newValue = 3.14;

Exporter un module

L’export d’éléments permet de les exposer à l’extérieur du module de façon à les rendre accessible à l’extérieur du module.

Pour exporter, on utilise le mot-clé export.

Par exemple:

export function func1() {
    // ... 
}

Dans cet exemple, on exporte une fonction à l’extérieur du module.

D’autres formes de syntaxe sont possibles pour exporter plusieurs éléments du module en une fois:

function func1() {
    // ... 
} 

function func2() { 
    // ... 
} 

export { func1, func2 };

On peut aussi indiquer l’instruction export avant la déclaration des éléments à exporter:

export { func1, func2 };

function func1() { 
    // ... 
} 

function func2() { 
    // ... 
} 

Importer un module

L’import d’un module correspond à importer les éléments exportés par ce module dans un autre.

Pour importer tous les éléments exportés d’un module dans une variable, on peut utiliser la syntaxe:

import * as moduleInFile from './file.js'; 

Dans ce cas, la variable est moduleInFile, on peut l’utiliser directement pour accéder aux éléments du module, par exemple:

moduleInFile.func1();

On peut importer un élément spécifique et non pas tous les éléments exportés du module en précisant les éléments à importer à partir de leur nom, par exemple:

import { func1 as funcFromOuterModule, func2 } from './file.js'; 

func1 as funcFromOuterModule permet de renommer le nom de l’élément importé. Cette déclaration est facultative, ainsi elle n’est pas utilisée pour func2.

Dans ce cas, on peut appeler directement les fonctions:

func2(); 
funcFromOuterModule(); 

Export par défaut

L’export d’un élément par défaut permet d’indiquer l’élément qui sera importé dans un module si ce dernier ne précise pas ce qui doit être importé. Ainsi, au moment d’importer l’élément d’un module, il ne sera pas nécessaire de préciser le nom de l’élément à importer, l’élément par défaut sera le seul élément importé même si le fichier comporte d’autres éléments.

Par exemple:

function func1() {
    // ...
} 

function func2() { 
    // ... 
} 

export default func1;

Au moment d’importer, le seul élément importé sera l’élément exporté par défaut:

import func1 from "file"; // L'import se fait à partir du fichier file.js.  

L’import ne comporte pas d’accolades. C’est l’élément par défaut qui est importé.

L’élément importé par défaut peut être utilisable directement:

func1(); 

Export nommé

On peut nommer un export de façon à modifier le nom de l’élément qui est exporté.

Par exemple, dans un premier temps on exporte un élément en le renommant:

function func1() {
    // ... 
} 

function func2() { 
    // ... 
} 

export default func1;  
export var finalFunc = func2;

En plus de l’élément par défaut, on décide de renommer un élément exporté.

A l’import, il faut indiquer le nouveau nom de l’élément:

import { finalFunc } from "file"; 

On peut directement utilisé le nouveau nom de l’élément:

finalFunc();

Dans cet exemple, si on souhaite importer l’élément par défaut, on peut écrire:

import func1, { finalFunc } from "file"; 

Utilisation des modules ES2015

Dans un browser

Pour utiliser des modules ES2015 directement dans un browser, en plus du support de ces modules suivant la version du browser, il faut inclure les fichiers Javascript en utilisant la syntaxe suivante dans l’entête du fichier HTML principal:

<script type="module" src="./file1.js" /> 

Ou plus directement:

<script type="module"> 
import { elementToImport } from './elementModule.js'; 
// ... 
</script> 

Les browsers qui ne sont pas compatibles ES2015 ne vont pas charger les scripts déclarés avec l’attribut type="module".

Un exemple plus complet se trouve dans le dépôt Github: es6-browser. Cet exemple permet d’illustrer l’utilisation de la syntaxe ES2015 pour effectuer des appels d’un module à l’autre. Cet exemple exécutable à partir d’un browser, toutefois on utilise Node.js pour éviter l’erreur correspondant au chargement de scripts à partir d’un autre domaine (i.e. erreur Cross-origin resource sharing (CORS)).

Pour exécuter cet exemple, il faut:

  1. Télécharger les packages npm en exécutant la ligne: npm install dans le répertoire de l’exemple,
  2. Lancer le serveur web de développement en exécutant la commande npm run start
  3. Se connecter à l’adresse http://127.0.0.1:8080 pour voir le résultat de l’exécution après avoir ouvert la console de développement.

Le résultat de l’exécution est:

Executed from module1.privateFunc()
Executed from module1.publicFuncModule1()
Executed from module2.publicFuncModule2()
Executed from module3.privateFunc()
Executed from module3.publicFuncModule3()

Ordre d’exécution des modules

Suivant la façon de déclarer les modules dans une balise <script>, l’ordre d’exécution est différent:

  1. Balise <script> avec l’attribut src: par exemple:
    <script src="file.js" />
    
  2. Module déclaré dans le corps d’une balise <script> de façon “inline”:
    <script type="module"> 
    // Corps du module 
    </script> 
    
  3. Utilisation de l’attribut defer pour retarder l’exécution du script jusqu’à ce que le document soit entièrement chargé et parsé:
    <script defer src="file.js" /> 
    
  4. Les modules déclarés avec les attributs src et type sont exécutés en dernier:
    <script type="module" src="file.js" /> 
    

Attribut “nomodule”

Suivant les besoins, il peut être nécessaire d’avoir des scripts différents pour les browser qui gèrent les modules ES2015 et pour les browsers qui ne les gèrent pas. La solution est d’utiliser l’attribut nomodule au moment de déclarer le script. Ainsi:

  • Pour déclarer les scripts destinés aux browsers ne gérant pas les modules ES2015: on utilise une balise <script> sans l’indication du type module mais avec l’attribut nomodule. Les browsers gérant les modules n’exécuteront pas ces scripts:
    <script nomodule src="runs_if_module_not_supported.js" /> 
    
  • Pour déclarer les scripts destinés aux browsers gérant les modules ES2015, il suffit d’utiliser l’attribut indiquant le type:

    <script type="module" src="runs_if_module_supported.js" /> 
    

    Les browsers incompatibles avec ES2015 ne chargeront pas ces modules.

Différence d’ordre de chargement des modules entre ES2015 et CommonJS

Il existe une différence dans la façon dont les modules sont chargés entre ES2015 et avec le format CommonJS:

  • Avec CommonJS, les modules chargent leurs dépendances en même temps qu’ils en exécutent le code.
  • Avec ES2015, les modules sont pré-parsés de façon à résoudre tous les imports avant d’exécuter le code.

Ainsi on écrit les modules ES2015 suivant:
Dans le fichier file1.js:

console.log('Exécute file1.js'); 
import { exportedFromTwo} from './file2.js'; 
console.log(exportedFromTwo); 

Dans le fichier file2.js:

console.log('Exécute file2.js'); 
export const exportedFromTwo = "Provient de file2.js"; 

Le résultat de l’exécution sera:

Exécute file2.js 
Exécute file1.js 
Provient de file2.js 

Dans le cas des modules déclarés avec le format CommonJS:
Dans le fichier file1.js:

console.log('Exécute file1.js'); 
const exportedFromTwo = require('./file2.js'); 
console.log(exportedFromTwo); 

Dans le fichier file2.js:

console.log('Exécute file2.js'); 
module.exportedFromTwo = 'Provient de file2.js'; 

Le résultat de l’exécution sera:

Exécute file1.js 
Exécute file2.js 
Provient de file2.js 

Pour conclure…

Comme on a pu le voir, les modules en Javascript s’implémentent de façon très différente. Avant l’apparition de la syntaxe native en ES2015, il a fallu trouver des work-arounds et utiliser différents outils pour implémenter des modules. Désormais, avec la syntaxe ES2015, l’implémentation des modules est plus facile et plus homogène. Toutefois, beaucoup de browsers sont utilisés avec des versions non compatibles avec ES2015. Il faut donc toujours produire du code Javascript permettant d’être exécuté sur ce type de browser. Ainsi des outils comme des bundlers et des transpilers rendent possible l’implémentation du code Javascript avec la syntaxe ES2015 et son exécution avec du code ES5.

Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Sécuriser les chaines de caractères dans un processus .NET

On peut imaginer que stocker un mot de passe dans une chaîne de caractères pendant l’exécution d’un processus, offre une solution sécurisée et qu’il est difficile de lire le contenu de cette chaîne. En réalité, ce type de stockage n’a rien de sécurisé.

On peut trouver dans des applications .NET des mots de passe stockés en clair dans un objet de type System.String. Toutefois avec très peu de moyen, on peut rapidement lire le contenu de n’importe quelle chaîne de caractères stockée dans un processus .NET. Ainsi, si ces mots de passe apparaissent en clair, il sera facile d’en lire le contenu.

Le but de cet article est d’abord de montrer comment on peut facilement lire une chaîne de caractères dans la mémoire d’un processus .NET. Ensuite, on proposera quelques solutions simples pour rendre une chaîne de caractères plus difficilement lisible par un outil externe.

Détecter le contenu d’une chaîne de caractères dans un processus

Dans un premier temps, on va montrer comment on peut facilement lire une chaîne de caractères stockée en clair dans un objet System.String dans un processus .NET.

La première étape consiste à simplement coder un exécutable contenant une chaîne de caractères non statique. Pour illustrer, on considère une application qui vérifie le mot de passe de l’utilisateur à 3 reprises. Si le couple user/password est correct, il répond OK sinon il réponds KO.

Le code correspondant à ce processus se trouve dans le repository suivant: github.com/msoft/secureString.

Les mots de passe sont stockés par un objet satisfaisant IPasswordFinder:

public interface IPasswordFinder 
{
    string GetPassword(string login); 
} 

L’objet satisfaisant IPasswordChecker est de type Mock<IPasswordFinder>. Il ne fait que renvoyer un mot de passe en fonction du nom d’un utilisateur. On l’instancie en utilisant PasswordFinderFactory dont voici l’implémentation:

public class PasswordFinderFactory 
{ 
    private readonly Dictionary<string, string> passwordPerUser = new Dictionary<string, string>(); 

    public void SetPassword(string login, string password) 
    { 
        this.passwordPerUser[login] = password; 
    } 
    
    public IPasswordFinder GetNewPasswordFinder() 
    { 
        var passwordFinderMock = new Mock<IPasswordFinder>(); 
    
        foreach (var user in this.passwordPerUser) 
            passwordFinderMock.Setup(f => f.GetPassword(user.Key)).Returns(user.Value); 
    
        return passwordFinderMock.Object; 
    } 
    
    public static PasswordFinderFactory GetFactory() 
    { 
        var factory = new PasswordFinderFactory(); 
    
        factory.SetPassword(
            "User1", 
            $"{(char)109}{(char)121}{(char)115}{(char)101}{(char)99}{(char)114}{(char)101}
                {(char)116}{(char)112}{(char)97}{(char)115}{(char)115}{(char)119}{(char)111}
                {(char)114}{(char)100}"
        ); 
    
        factory.SetPassword(
            "User2", 
            $"{(char)111}{(char)116}{(char)104}{(char)101}{(char)114}{(char)112}{(char)97}
            {(char)115}{(char)115}{(char)119}{(char)111}{(char)114}{(char)100}"
        ); 
    
        return factory; 
    } 
} 

Comme on peut le voir le mot de passe avec lequel on effectue la comparaison n’est pas écrit sous forme d’une chaîne de caractères unique pour éviter que le compilateur ne l’interprète comme un objet statique:

factory.SetPassword(
    "User1", 
    $"{(char)109}{(char)121}{(char)115}{(char)101}{(char)99}{(char)114}{(char)101}
        {(char)116}{(char)112}{(char)97}{(char)115}{(char)115}{(char)119}{(char)111}
        {(char)114}{(char)100}"
); 

factory.SetPassword(
    "User2", 
    $"{(char)111}{(char)116}{(char)104}{(char)101}{(char)114}{(char)112}{(char)97}
        {(char)115}{(char)115}{(char)119}{(char)111}{(char)114}{(char)100}"
); 

Si les chaînes étaient stockées de façon statique, il n’y aurait pas de nécessité d’exécuter l’application. En décompilant les assemblies, on verrait directement les chaînes de caractères.

La classe qui effectue la vérification du mot de passe est PasswordChecker:

public class PasswordChecker 
{ 
    private IPasswordFinder passwordFinder; 

    public PasswordChecker(PasswordFinderFactory passwordFinderFactory) 
    { 
        this.passwordFinder = passwordFinderFactory.GetNewPasswordFinder(); 
    } 
    
    public bool CheckPassword(string login, string password) 
    { 
        var foundPassword = this.passwordFinder.GetPassword(login); 
    
        return string.IsNullOrEmpty(foundPassword) ? false : foundPassword.Equals(password); 
    } 
} 

L’exécution est sans surprise:

Essai 1
Quel est le login ?
> User1
Quel est le mot de passe ?
> bad password
KO
Essai 2
Quel est le login ?
> User1
Quel est le mot de passe ?
> mysecretpassword
OK

Pour l’exemple avec des chaînes de caractères simples, il faut regarder le contenu du répertoire SecureString/WithSimpleString. Pour utiliser les classes de ce répertoire, la fonction main doit instancier passwordChecker de cette façon:

var passwordChecker = new WithSimpleString.PasswordChecker( 
    WithSimpleString.PasswordFinderFactory.GetFactory()); 

Récupérer le mot de passe avec un outil externe

On propose 2 méthodes pour lire les chaînes de caractères contenant les mots de passe en utilisant des outils externes au processus:

  • Avec ProcessHacker et
  • Avec WinDbg.

Avec ProcessHacker

Pour lire toutes les chaînes de l’assembly, on peut exécuter ProcessHacker (disponible gratuitement):

  1. Il faut chercher l’application dans la liste des processus
  2. Double-cliquer sur l’application “SecureString.exe”:
  3. Aller dans l’onglet Memory:
  4. Cliquer sur “Strings”
  5. Laisser les paramètres par défaut:
  6. Sauvegarder les chaînes dans un fichier texte en cliquant sur “Save”.

En cherchant dans le fichier texte, on peut voir que les chaînes de caractères correspondant à ce qu’a écrit l’utilisateur à chaque tentative, sont visibles même si la variable password est écrasée à chaque itération de la boucle. D’autre part, on peut voir les chaînes correspondant aux mots de passe à trouver en clair.

Par exemple:

0x162266c (84): ... 
0x16228e0 (108): NLS_CodePage_850_3_2_0_0ns.IMocked`1_get_MocktPassword 
0x1622b58 (32): mysecretpassword
0x1622d88 (26): otherpassword 
0x1623e20 (76): Invariant Language (Invariant Country) 
0x1623e90 (36): ...

Avec WinDbg

Une autre méthode pour parcourir la mémoire d’un processus est d’utiliser WinDbg. WinDbg est un outil puissant qui permet de déboguer un processus et de lire un dump de mémoire (cf. Les “dumps” mémoire en 5 min). Même si WinDbg est difficile à utiliser, il permet d’extraire plus d’informations d’un dump mémoire que Visual Studio.

On peut l’installer à partir SDK Windows 10:

Dans notre cas, le gros intérêt de WinDbg est de pouvoir travailler sur un dump mémoire du processus. Ce dump correspond à une photo de la mémoire occupée par un processus. Même si l’exécution du processus s’interrompt, on peut continuer d’exploiter le dump pour en extraire des informations.

Pour générer un dump, il faut ouvrir le gestionnaire de tâches en faisant [Ctrl] + [Maj] + [Echap]:

  1. Sélectionner le processus
  2. Faire un clique droit sur le processus
  3. Cliquer sur “Generate a dump”

Le dump est généralement écrit dans un fichier dans le répertoire:

C:\Users\<Nom utilisateur>\AppData\Local\Temp\SecureString.DMP 

Après génération du dump, il faut le charger avec WinDbg:

  1. Cliquer sur File
  2. Puis sur “Open Crash Dump”.
  3. Sélectionner le fichier de dump
  4. Cliquer sur Window puis “Dock All” pour agrandir la fenêtre.

Une autre méthode sans générer de dump de mémoire, peut consister à s’attacher directement au processus:

  1. Cliquer sur File
  2. Puis sur “Attach to a process…”
  3. Sélectionner le processus puis cliquer sur OK
  4. Cliquer sur Window puis “Dock All” pour agrandir la fenêtre.

Quand le fichier dump est chargé ou quand le processus est attaché, il suffit de chercher une chaîne de caractères correspondant aux mots de passe en tapant la commande suivante:

s –u 0 0FFFFFFF "<chaîne à chercher>" 

Cette instruction permet de chercher une chaîne Unicode (les chaînes de caractères en .NET sont stockées en UTF-16) de l’adresse mémoire 0 à l’adresse 0FFFFFFF (car on ne connait pas l’adresse de fin).

D’autres commandes permettent d’extraire d’autres informations:

  • Pour lister toutes les chaînes de caractères Unicode (la liste peut être très longue): s –su 0 0FFFFFFF
  • Pour lister toutes les chaînes de caractères ASCII: s –sa 0 0FFFFFFF
  • Pour voir le contenu d’une adresse en mémoire: dc <adresse mémoire>

Par exemple:

0:000> s -u 0 0FFFFFFF "mysecretpassword"  
01622b58  006d 0079 0073 0065 0063 0072 0065 0074  m.y.s.e.c.r.e.t. 

0:000> dc 01622b58   
01622b58  0079006d 00650073 00720063 00740065  m.y.s.e.c.r.e.t. 
01622b68  00610070 00730073 006f0077 00640072  p.a.s.s.w.o.r.d. 
01622b78  00000000 00000000 68363bc8 00000003  .........;6h.... 
01622b88  00000001 ffffffff 00000000 00000000  ................ 
01622b98  6835ca98 00000003 016225b8 01622b50  ..5h.....%b.P+b. 
01622ba8  2c1c7fa3 ffffffff 0162264c 01622d80  ...,....L&b..-b. 
01622bb8  2c1c7fa4 ffffffff 00000000 00000000  ...,............ 
01622bc8  00000000 00000000 00000000 68362158  ............X!6h 

On peut chercher toutes les chaînes de caractères contenus dans le processus en exécutant les commandes suivantes:

  • Pour les chaînes ASCII: s –sa 0 0FFFFFFF
  • Pour les chaînes Unicode: s –su 0 0FFFFFFF

Attention, l’exécution de ces commandes peut prendre du temps.

Comme pour ProcessHacker, on s’aperçoit qu’on peut voir le contenu des chaînes du processus en clair.

Quelques précisions sur “System.String” en .NET

Les chaînes de caractères sont le plus souvent stockées en .NET dans un objet de type System.String. Les objets de ce type sont de type référence c’est-à-dire qu’ils sont alloués et stockés dans le tas managé et qu’ils sont libérés lors des passages du garbage collector.

Les objets System.String ont aussi la particularité d’être immutables c’est-à-dire qu’ils sont passés par référence lors d’appels de fonction ou lors d’affectation de variables toutefois toute manipulation sur une chaîne entraîne la création d’une nouvelle instance de chaîne.

Ainsi si on écrit:

string finalString = "chaine1" + "chaine2" + "chaine3";

4 objets de type System.String sont créés dans le tas (finalString et les objets contenant "chaine1", "chaine2" et "chaine3"). Il faudra attendre le passage du garbage collector pour collecter les objets contenant "chaine1", "chaine2" et "chaine3". Ainsi avant le passage du garbage collector, on peut non seulement voir le contenu de finalString mais aussi "chaine1", "chaine2" et "chaine3".

Ainsi, si on stocke des mots de passe ou des sections de mot de passe dans un objet de type System.String, on ne pourra jamais vraiment savoir quand cet objet sera supprimé par le garbage collector, il peut rester dans la mémoire même longtemps après l’avoir utilisé. Avant sa suppression, on peut largement avoir le temps de générer un dump et de l’étudier pour éventuellement en extraire des chaînes avec des mots de passe. C’est la raison pour laquelle il faut éviter d’utiliser ce type d’objet pour stocker des chaînes dont le contenu est sensible.

Quelques solutions pour stocker des mots de passe

Ne pas utiliser de “System.String”

Cette solution peut paraître évidente mais c’est la plus simple pour ne pas dupliquer une chaîne de caractères au contenu sensible dans la mémoire: éviter d’utiliser trop d’instances d’objet de type System.String.

Eviter de conserver des références vers une chaîne de caractères peut, dans certain cas, permettre au garbage collector de “collecter” l’objet correspondant à la chaîne de caractères de façon à libérer l’espace occupé par l’objet et surtout écraser son contenu pour y affecter d’autres données. En effet, même si le garbage collector libère l’espace correspond à l’objet, le contenu en mémoire n’est pas forcément écrasé et la chaîne de caractères peut rester présente en mémoire pour une durée indéfinie.

Etant donné le manque de maitrise quant à la libération d’un objet de type System.String, il est conseillé d’utiliser des objets System.Security.SecureString pour stocker des chaînes de caractères sensibles.

Forcer l’exécution du garbage collector

Si on ne possède plus de références vers un objet de type System.String, le garbage collector est susceptible de s’exécuter et de collecter cet objet pour libérer l’espace mēmoire occupé. Au lieu d’attendre l’exécution du garbage collector, on peut la forcer quand on sait qu’on n’utilisera plus la chaîne de caractères. Pour forcer l’exécution du garbage collector, on peut exécuter l’instruction:

GC.Collect(); 

Utiliser une “SecureString”

L’objet de type System.Security.SecureString est spécialement conçu pour stocker des chaînes de caractères sensibles. Le contenu stocké par cet objet est crypté en utilisant la fonction RtlEncryptMemory du système d’exploitation (code source de System.Security.SecureString sur referencesource.microsoft.com). Ainsi il est beaucoup difficile de lire le contenu de ce type d’objet en mémoire.

La contrepartie des objets SecureString est que leur utilisation n’est pas forcément direct, en particulier si un mot de passe est stocké de façon provisoire dans un objet System.String.

Dans certains cas, on peut directement avoir une instance de SecureString: par exemple en utilisant l’objet System.Windows.Control.PasswordBox en WPF pour permettre à l’utilisateur d’entrer un mot de passe. Dans ce cas, pour récupérer la valeur du mot de passe, on peut utiliser directement la propriété PasswordBox.SecurePassword qui est de type SecureString. La récupération du mot de passe est donc sécurisée.

A l’opposé, dans d’autres cas, par exemple en WinForm, pour récupérer un mot de passe tapé par l’utilisateur, il faut utiliser une TextBox classique et utiliser la propriété TextBox.Text qui est de type System.String. Dans le cas de la TextBox, il existe des solutions pour ce type de control(1) (2) pour éviter de trop exposer ce qui est tapé par l’utilisateur.

Utiliser le contenu d’une SecureString

Utiliser les données contenus dans un objet SecureString n’est pas tout-à-fait direct. Ainsi, pour utiliser le contenu de ce type d’objet en limitant les risques de copie dans des parties de la mémoire dont on ne maîtrise pas la libération, on peut s’inspirer du code suivant:

public static TReturn UseSecureStringContent<TReturn>(
    System.Security.SecureString secureString, 
    Func<char[], TReturn> stringUse) 
{ 
    int stringLength = secureString.Length; 
    char[] bytes = new char[stringLength]; 
    IntPtr ptr = IntPtr.Zero; 

    try 
    { 
        ptr = Marshal.SecureStringToBSTR(secureString); 
        bytes = new char[stringLength]; 
        Marshal.Copy(ptr, bytes, 0, stringLength); 
    } 
    finally 
    { 
        if (ptr != IntPtr.Zero) 
            Marshal.ZeroFreeBSTR(ptr); 
    } 

    // Utiliser le chaîne de caractères sous forme de tableau de caractères  
    TReturn returnValue = stringUse(bytes); 
    for (int i = 0; i < stringLength; i++) 
        bytes[i] = '*'; 

    return returnValue; 
}

Dans cet exemple, au lieu de générer une chaîne de caractères, on extrait un tableau de caractères. L’intérêt d’utiliser un tableau de caractères est qu’on peut facilement écraser le contenu du tableau après utilisation. Pendant l’exécution de la fonction, la chaîne de caractères sera écrite en clair dans le tableau toutefois si l’exécution est rapide, il est plus difficile d’en lire le contenu en utilisant un dump ou en essayant de lire la mémoire.

Convertir une chaîne de caractères en “SecureString”

On peut convertir une chaîne de caractères en tableau de char de cette façon:

public static System.Security.SecureString GetNewSecureString(char[] clearString) 
{ 
    var secureString = new System.Security.SecureString(); 
    foreach (char caracter in clearString) 
    { 
        secureString.AppendChar(caracter); 
    } 

    return secureString; 
} 

Même si un tableau est alloué sur le tas managé, l’intérêt de son utilisation par rapport à la chaîne stockée dans un objet de type System.String est qu’on peut facilement en écraser le contenu.

On peut facilement utiliser une méthode similaire pour convertir un objet System.String en SecureString:

public static System.Security.SecureString GetNewSecureString(string clearString) 
{ 
    return GetNewSecureString(clearString.ToArray()); 
} 

Convertir une “SecureString” en chaîne de caractères

On peut convertir une SecureString en tableau de caractères de cette façon:

public static char[] ConvertToCharArray(SecureString secureString) 
{ 
    int stringLength = secureString.Length; 
    var charArray = new char[stringLength]; 
    IntPtr valuePtr = IntPtr.Zero; 

    try 
    { 
        valuePtr = Marshal.SecureStringToGlobalAllocUnicode(secureString); 

        for (int i = 0; i < stringLength; i++) 
        { 
            charArray[i] = (char)Marshal.ReadInt16(valuePtr, i * 2);
        } 
    } 
    finally 
    { 
        Marshal.ZeroFreeGlobalAllocUnicode(valuePtr); 
    } 

    return charArray; 
} 

Une conversion de SecureString vers System.String se fait plus directement de cette façon:

public static string ConvertToString(SecureString secureString) 
{ 
    IntPtr valuePtr = IntPtr.Zero; 
    try 
    { 
        valuePtr = Marshal.SecureStringToGlobalAllocUnicode(secureString); 
        return Marshal.PtrToStringUni(valuePtr); 
    } 
    finally 
    { 
        Marshal.ZeroFreeGlobalAllocUnicode(valuePtr); 
    } 
} 

Dans le cadre de l’exemple utilisé plus haut dans le repository GitHub SecureString, il faut adapter le code pour utiliser des objets de type SecureString plutôt que System.String. L’adaptation du code se trouve dans le répertoire SecureString/WithSecureString. La fonction main doit utiliser les classes de ce répertoire et instancier passwordChecker de cette façon:

var passwordChecker = new WithSecureString.PasswordChecker( 
    WithSecureString.PasswordFinderFactory.GetFactory()); 

Utiliser “System.String” et écraser son contenu après utilisation

Comme indiqué plus haut, les objets de type System.String sont des objets de type référence alloués dans le tas managé. Leur durée de vie et surtout leur temps de présence en mémoire dépend de l’exécution du garbage collector. Comme on ne maitrise pas complètement l’exécution du garbage collector, stocker des chaînes de caractères sensibles dans un objet System.String présente un risque. Toutefois dans certains cas d’utilisation, on peut être contraint d’utiliser un objet de ce type, par exemple pour transmettre un mot de passe à une bibliothèque dont on ne maitrise pas l’implémentation et qui impose l’utilisation d’objets de type System.String.

Dans ce cas, une solution est d’utiliser un objet de type System.String et d’en effacer le contenu après utilisation. Après écrasement, un mot de passe stocké dans un objet de ce type est effacé de la mémoire et ne peut plus être lu.

Comme on l’a expliqué plus haut, si on écrit:

string password = "mysecretpassword"; 

Et si on écrit ensuite la ligne suivante:

password = "*********"; 

On n’écrase pas le contenu de la mémoire car un objet de type System.String est immutable. Ce qui signifie que:

  • A la déclaration de la variable password: on alloue à la variable password une référence vers la chaîne de caractères "mysecretpassword" stockée dans le tas managé.
  • A l’affectation de "*********" à la variable password: on alloue une référence vers une nouvelle chaîne de caractères stockée dans le tas managé toutefois l’ancienne chaîne de caractères n’est pas modifiée. C’est juste la référence contenue dans la variable password qui est modifiée.

Il faut donc, un code qui permet réellement d’écraser le contenu de la chaîne de caractères comme par exemple, le code suivant:

public static void EraseStringContent(string stringToErase) 
{ 
    unsafe 
    { 
        fixed (char* stringContent = stringToErase) 
        { 
            for (int i = 0; i < stringToErase.Length; i++) 
                stringContent[i] = '*'; 
        } 
    } 
} 

Ce code permet d’écraser le contenu de la chaîne de caractères passée en paramètre:

  • Le mot-clé unsafe: permet d’indiquer que le code suivant contient des instructions manipulant directement des pointeurs.
  • Le mot-clé fixed: permet d’indiquer au garbage collector de ne pas modifier les emplacements en mémoire des objets manipulés. Sans l’utilisation du mot-clé fixed, le CLR pourrait changer l’emplacement de certains objets en fonction de l’exécution du garbage collector. Ces déplacements pourraient intervenir pendant la manipulation de pointeurs rendant, de fait, invalides les adresses pointées.

Le gros inconvénient de cette méthode est qu’elle nécessite que le code exécuté soit “unsafe” ce qui signifie qu’il faut rajouter une option de compilation permettant d’autoriser l’exécution de code “unsafe”.

Pour autoriser l’exécution de code “unsafe” dans une assembly, il faut:

  1. Effectuer un clique droit sur le projet concerné dans Visual Studio
  2. Cliquer sur Propriétés
  3. Dans l’onglet “Build”, il faut cocher “Allow unsafe code”.

En combinant les SecureString et l’écrasement des chaînes de caractères System.String, on peut proposer l’implémentation suivante pour utiliser le contenu d’une SecureString:

public static TReturn UseSecureStringContent<TReturn>(
    SecureString secureString, 
    Func<string, TReturn> useString) 
{ 
    string simpleString = ConvertToString(secureString); 
    var returnValue = useString(simpleString); 
    EraseStringContent(simpleString); 
    return returnValue; 
} 

De même que précédemment, l’utilisation d’un objet de type System.String rend plus facile la lecture des données sensibles en mémoire. Toutefois étant donné qu’on en efface le contenu après utilisation, la chaîne n’apparait pas longtemps en clair dans la mémoire ce qui limite le risque.

Le code correspondant aux manipulations de SecureString se trouve dans SecureStringHelper.

En conclusion

On a vu quelques méthodes pour facilement lire le contenu de chaînes de caractères dans la mémoire d’un processus quand cette chaîne est stockée en clair. On a pu remarquer que les objets System.String ne sont pas adaptés pour stocker des données sensibles comme des mots de passe. Il est préférable d’utiliser des objets comme les SecureString.

On peut aller plus loin pour stocker ces données sensibles en passant par la Data Protection API (i.e. DPAPI) qui est spécialement conçue pour ce type d’usage. On peut facilement trouver de la documentation pour utiliser la DPAPI(3).

(1) – My SecurePasswordTextBox control is famous: https://weblogs.asp.net/pglavich/440052
(2) – SecurePasswordTextBox update: https://weblogs.asp.net/pglavich/440191
(3) – Documentation pour utiliser la Data Protection API:

Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page

Les commandes npm courantes en 5 min

Dans l’écosystème Typescript et plus généralement Javascript, il existe une multitude d’outils et de bibliothèques. Ces outils et ces bibliothèques peuvent être utilisés pendant l’exécution de l’application, pour aider aux développements, pour exécuter des tests ou pour aider au déploiement. La multitude des fonctionnalités de ces outils implique des méthodes d’installation spécifiques, des configurations particulières et surtout des cas d’utilisation souvent très différents.

Le plus souvent une application générée à partir de code Typescript est exécutée sur un serveur Node.js et dans cet environnement, un outil est incontournable pour aider à utiliser des bibliothèques tierces. Cet outil est npm (pour Node Package Manager), il sert à gérer les dépendances d’une application Typescript en les organisant sous forme de packages. D’autres gestionnaires existent comme Bower ou yarn.

Le but de cet article est d’expliquer le fonctionnement de npm et d’en expliciter les commandes principales.

npm est installé en même temps que Node.js (pour davantage de détails, voir Installation de Node.js).

Répertoires de npm

Installation par défaut

Après installation, npm est utilisable sous forme d’une commande disponible avec un terminal. Dans le cadre de l’installation qu’on avait effectuée dans l’article Installation de Typescript sur Debian/Ubuntu, Node.js et npm avaient été installés dans le répertoire /usr/node.js, ainsi si on écrit la commande suivante, on doit obtenir le répertoire d’installation de npm:

user@debian:~% whereis npm  
npm: /usr/node.js/node-v8.10.0-linux-x64/bin/npm 

Répertoires contenant les packages

Les packages gérés par npm peuvent être installés suivant 2 modes: local ou global:

  • Local: le package installé localement est installé dans un répertoire qui se trouve dans le répertoire de l’application. Ce répertoire est nommé node_modules. Le package est accessible seulement dans le répertoire de l’application. Dans ce mode, chaque application peut utiliser une version spécifique d’un même package.
  • Global: le package est installé de façon globale dans un répertoire accessible dans le répertoire d’installation de Node.js. Dans notre cas, ce répertoire est: /usr/node.js/node-v8.10.0-linux-x64/. Si un package est installé dans ce répertoire, il est partagé par toutes les applications.
    Il est possible de modifier le chemin de ce répertoire, ce qu’on fera dans le paragraphe suivant.

Modifier le répertoire global des packages (facultatif)

Le répertoire global par défaut est dans le répertoire d’installation de Node.js. Pour savoir comment est préfixé le répertoire global, il faut afficher le paramètre config de npm en écrivant:

user@debian:~% npm config get prefix 
/usr/node.js/node-v8.10.0-linux-x64 

Ainsi, le répertoire global est <prefix>/lib/node_modules. Dans notre cas, le chemin précis du répertoire global est:

/usr/node.js/node-v8.10.0-linux-x64/lib/node_modules 

Le gros inconvénient d’utiliser ce répertoire est qu’il est nécessaire d’être l’utilisateur root pour gérer les packages qui s’y trouvent. Une possibilité est de modifier le préfixe pour que le répertoire global se trouve dans le répertoire de l’utilisateur. Les droits administrateurs ne sont donc plus nécessaires et l’utilisateur peut mettre à jour plus facilement les packages installés de façon globale. Les packages ne sont plus installés à l’échelle de la machine mais à celle de l’utilisateur.

Pour afficher les éléments de configuration de l’utilisateur courant, il suffit de taper:

user@debian:~% npm config list 
; cli configs 
metrics-registry = "https://registry.npmjs.org/" 
scope = "" 
user-agent = "npm/5.6.0 node/v8.10.0 linux x64" 
  
; node bin location = /usr/node.js/node-v8.10.0-linux-x64/bin/node 
; cwd = /home/user 
; HOME = /home/user 
; "npm config ls -l" to show all defaults. 

Pour modifier la valeur du préfixe:

  1. Il faut taper:

    user@debian:~% mkdir .node_modules 
    user@debian:~% npm config set prefix=$HOME/.node_modules 
    

    Si on affiche de nouveau le préfixe après la modification:

    user@debian:~% npm config get prefix 
    /home/user/.node_modules 
    

    Cette opération a créé un fichier de configuration nommé .npmrc dans le répertoire de l’utilisateur. Ce fichier contient désormais la valeur du préfixe:

    user@debian:~% cat .npmrc 
    prefix=/home/user/.node_modules 
    
  2. Maintenant si on réinstalle le package npm au niveau global, il sera installé dans le répertoire /home/user/.node_module. Pour installer le package npm au niveau global, on exécute la commande suivante (cette étape se fait sans être l’utilisateur root):
    user@debian:~% npm install npm --global 
    

    En vérifiant, on voit bien que le répertoire global contient des éléments fraîchement installés et il contient aussi les modules installés de façon globale:

    user@debian:~% ls .node_modules 
    bin   etc   lib   share 
    user@debian:~% ls .node_modules/lib/node_modules 
    npm 
    
  3. On peut ensuite, modifier le chemin de Node.js dans la variable d’environnement PATH en éditant le fichier .bashrc avec un éditeur de texte. Par exemple, avec vi, on peut exécuter la commande suivante:
    user@debian:~% vi .bashrc 
    

    A la fin du fichier, on peut remplacer les lignes:

    export NODEJS_HOME=/usr/node.js/node-v8.10.0-linux-x64  
    export PATH=$PATH:NODEJS_HOME/bin  
    

    Avec les lignes suivantes, contenant les nouveaux chemins:

    export NODEJS_HOME=$HOME/.node_modules  
    export PATH=$PATH:NODEJS_HOME/bin  
    

    On enregistre en tapant sur la touche [Echap] puis :wq et la touche [Entrée] pour valider.

  4. Si on ouvre un nouveau terminal, on devrait avoir un nouveau chemin pour npm:
    user@debian:~% whereis npm  
    npm: /home/user/.node_modules/bin 
    
  5. A partir de cette étape, en exécutant npm on peut avoir une erreur du type:
    /usr/bin/env:  'node': No such file or directory 
    

    Cette erreur se produit parce que node n’est plus présent dans le répertoire .node_modules/bin. Il faut donc rajouter un lien symbolique vers l’ancien répertoire en exécutant:

    user@debian:~% cd .node_modules/bin 
    user@debian:~/.node_modules/bin% ln -s  /usr/node.js/node-v8.10.0-linux-x64/bin/node 
    

    On réinstalle ensuite node dans le répertoire global en exécutant:

    user@debian:~/.node_modules/bin% npm install --global node 
    
  6. On peut en profiter pour réinstaller Typescript
    user@debian:~% npm install --global typescript  
    
  7. On peut vérifier l’installation en exécutant:
    user@debian:~% npm version 
    user@debian:~% node –version 
    

Fichier package.json

Dans le cadre d’un projet, npm utilise un fichier au format JSON nommé package.json qui se trouve à la racine du répertoire du projet. Ce fichier contient des informations comme:

  • La description du projet: ce sont des méta-datas comme le nom, la version, la description, la licence et des mots clés associés au projet. Ces informations peuvent être éditées au besoin.
  • Les packages nécessaires: il est possible d’installer des packages et d’indiquer la dépendance du projet vers ce package en le rajoutant dans le package.json. Ainsi le fichier package.json peut contenir toutes les dépendances du projet vers des packages gérés par npm. On distingue 2 types de dépendances:
    • Les dépendances de développement: ces packages ne sont utilisés que pour le développement et ne le sont pas en production. Par exemple, il peut s’agir de packages pour compiler le code Typescript, pour exécuter des tests ou des utilitaires pour aider au développement. Ces packages ne doivent pas être déployés en production.

      Ces dépendances sont indiquées dans le fichier package.json dans l’élément devDependencies.

    • Les dépendances utilisées au runtime: ces packages sont utilisés à l’exécution de l’application. Ils doivent donc être déployés en même temps que l’application.
      Ces dépendances sont indiquées dans le fichier package.json dans l’élément dependencies.
  • Les applications ou scripts à exécuter: suivant certaines opérations exécutées par npm, il faut exécuter des scripts ou des applications. Ces scripts et ces applications peuvent être indiquées dans le fichier package.json.

Générer un fichier package.json

Il est possible de générer un fichier package.json en exécutant:

user@debian:~/Documents/test_package% npm init 

Un certain nombre de questions sont posées pour remplir les méta-datas associées au projet. Un exemple du fichier généré est:

{ 
  "name": "test_package", 
  "version": "1.0.0", 
  "description": "Description du package test_package", 
  "main": "index.js", 
  "scripts": { 
    "test": "echo \"Error: no test specified\" && exit 1" 
  }, 
  "author": "", 
  "license": "ISC" 
} 

Pour ne pas répondre aux différentes questions et générer le fichier directement, on peut écrire:

user@debian:~/Documents/test_package% npm init --yes 

ou

user@debian:~/Documents/test_package% npm init -y 

Paramétrer des “méta-datas” par défaut

Il est possible de paramétrer les méta-datas appliqués au fichier package.json. Pour paramétrer ces méta-datas, il faut exécuter une commande du type:

user@debian:~% npm config set init.author.name <Nom de l'auteur> 
user@debian:~% npm config set init.author.email <Email de l'auteur> 
user@debian:~% npm config set init.author.url <Url du projet> 
user@debian:~% npm config set init.license <Type de license> 

Il est possible de configurer d’autres éléments, on peut avoir une liste plus exhaustive en exécutant:

npm help 7 config 

Les commandes usuelles de npm

On va lister dans cette partie les commandes les plus courantes.

On peut afficher un message d’aide en exécutant:

user@debian:~% npm help 

ou

user@debian:~% npm -h 

Pour afficher de l’aide concernant une commande précise:

user@debian:~% npm help <nom de la commande> 

ou

user@debian:~% npm <nom de la commande> -h 

Installation d’un package

Ces commandes permettent d’installer un package. On peut avoir des détails sur les packages en allant sur le site npmjs.com/.

Si on installe un package localement, il sera placé dans un répertoire appelé node_modules dans le répertoire courant. L’installation d’un package localement se fait en exécutant:

user@debian:~% npm install <nom du package> 

ou

user@debian:~% npm i <nom du package> 

Cette commande installera le package et, le cas échéant, toutes ces dépendances.

Après installation, la dépendance sera ajoutée au fichier package.json dans l’élément de configuration dependencies (correspondant aux packages nécessaires à l’exécution).

Ainsi si on exécute la commande suivante:

user@debian:~% npm install protractor 

Le fichier package.json contiendra:

{ 
  "name": "test_package", 
  ..., 
  "dependencies": { 
    "protractor": "^5.3.2" 
  }
} 

Il est possible d’installer plusieurs packages en une seule fois en les listant à la suite:

user@debian:~% npm install <nom package 1> <nom package 2> <nom package 3> <etc...> 

Installer les dépendances indiquées dans package.json

Il suffit d’exécuter cette commande (on ne précise pas d’arguments) dans le répertoire du projet:

user@debian:~% npm install

ou

user@debian:~% npm i 

Installation d’une dépendance de développement

Si on veut installer un package et indiquer la dépendance sous forme d’une dépendance de développement, il faut exécuter:

npm install <nom du package> --save-dev 

Au lieu de rajouter la dépendance dans l’élément dependencies du fichier package.json, npm rajoutera la dépendance dans l’élément devDependencies.

Pour omettre l’édition de package.json

Pour éviter d’écrire dans le fichier package.json quand on installe un package, il faut ajouter l’argument:

user@debian:~% npm install <nom du package> --no-save 

Installation d’un package dans le répertoire global

Le répertoire global permet de partager un même package parmi plusieurs projets. Pour avoir le préfixe utilisé, il faut exécuter:

user@debian:~% npm config get prefix 

Le répertoire global contenant les packages est <prefixe>/lib/node_modules.

Pour installer un package dans le répertoire global, il faut exécuter:

user@debian:~% npm install --global <nom du package> 

ou

user@debian:~% npm i –g <nom du package> 

Installer une version spécifique

Les instructions précédentes permettent d’installer la dernière version du package toutefois on peut installer une version spécifique:

user@debian:~% npm install <nom du package>@<version du package> 

Par exemple:

user@debian:~% npm install protractor@5.3.0 

Indication de version dans package.json

Par défaut la version est indiquée dans le fichier package.json en utilisant le caractère ^:

{ 
  "name": "test_package", 
  ..., 
  "dependencies": { 
    "protractor": "^5.3.2" 
  } 
} 

Ce caractère permet d’indiquer que npm mettra à jour le package en exécutant npm update en ne considérant que les versions avec le même numéro majeur. Npm utilise le Semantic Versioning avec des numéros de version sous la forme MAJOR.MINOR.PATCH. Ainsi le même numéro majeur signifie dans notre exemple que npm tentera de mettre à jour le package en cherchant des versions de la forme 5.x.y.

Dans le cadre du Semantic Versioning, un changement de version majeure signifie qu’un breaking change a été introduit.

On peut modifier ce comportement en remplaçant le caractère ^ par ~ dans le fichier package.json. Par exemple:

{ 
  "name": "test_package", 
  ..., 
  "dependencies": { 
    "protractor": "~5.3.2" 
  } 
} 

Le caractère ~ permet d’indiquer que npm bloque la version majeure et mineure. Ainsi, le même

Numéro majeur et mineur signifie dans notre exemple que npm tentera de mettre à jour en cherchant des versions de la forme 5.3.x.

Dans le cadre du Semantic Versioning, un changement de version mineure signifie qu’il n’y a pas de breaking changes et qu’une nouvelle fonctionnalité a été rajoutée.

On peut bloquer une version précise en omettant tout caractère devant la version:

{ 
  "name": "test_package", 
  ..., 
  "dependencies": { 
    "protractor": "5.3.2" 
  } 
} 

On peut indiquer à npm d’ajouter un caractère différent de celui par défaut à l’installation d’un nouveau package en exécutant:

user@debian:~% npm config set save-prefix="~"

On peut modifier le comportement par défaut pour bloquer la version d’un package à chaque installation. Il faut exécuter:

user@debian:~% npm config set save-exact true

Utiliser un fichier npm-shrinkwrap.json

Pour figer une version d’un package, on peut utiliser un fichier nommé npm-shrinkwrap.json à ranger dans le répertoire du projet. Depuis la version 5.x.y, ce fichier a été remplacé par le fichier package-lock.json. Le fichier package-lock.json est généré à chaque édition de npm init.

Utiliser npm-shrinkwrap.json est toutefois obsolète.

Si on souhaite vraiment utiliser un fichier npm-shrinkwrap.json, il suffit d’exécuter:

user@debian:~% npm shrinkwrap 
npm notice package-lock.json has been renamed to npm-shrinkwrap.json. npm-shrinkwrap.json 
will be used for future installations. 

Lister les packages installés

Pour lister les packages installés au niveau local, il faut exécuter:

user@debian:~% npm list

ou

user@debian:~% npm ls

Les packages seront listés avec leurs dépendances.

Pour lister les packages sans leurs dépendances:

user@debian:~% npm list --depth=0

Enfin pour lister les packages installés de façon globale:

user@debian:~% npm list --global 

ou

user@debian:~% npm list –g 

On peut afficher d’autres informations en listant les packages:

user@debian:~% npm ll

ou

user@debian:~% npm la

Désintaller un package

Pour désinstaller un package installé localement, il faut exécuter:

user@debian:~% npm uninstall <nom du package> 

ou

user@debian:~% npm un <nom du package> 

Les dépendances seront aussi désinstallées et l’entrée correspondante dans le fichier package.json sera supprimée.

Pour désinstaller un package de façon globale, il faut exécuter:

user@debian:~% npm uninstall --global <nom du package> 

ou

user@debian:~% npm uninstall -g <nom du package> 

Avoir des informations sur un package

On peut avoir des informations sur un package en exécutant:

user@debian:~% npm view <nom du package> 

Pour avoir des informations de version:

user@debian:~% npm view <nom du package>  versions 

Pour voir la page d’accueil du package:

user@debian:~% npm home <nom du package> 

Pour avoir le repository Git:

user@debian:~% npm repo <nom du package> 

Pour avoir de la documentation:

user@debian:~% npm docs <nom du package> 

Pour voir les bugs:

user@debian:~% npm bugs <nom du package> 

Mise à jour d’un package

Afficher les packages à mettre à jour

Pour afficher les packages pour lesquels une nouvelle version existe, il faut exécuter:

user@debian:~% npm outdated

L’affichage se fera de cette façon:

Package     Current  Wanted  Latest  Location 
protractor    5.3.0   5.3.2   5.3.2  test_package 

Effectuer des mises à jour

Pour mettre à jour un package:

user@debian:~% npm update <nom du package>  

ou

user@debian:~% npm up <nom du package> 

Certains éléments peuvent empêcher la mise à jour d’un package comme l’utilisation d’un fichier package-lock.json, npm-shrinkwrap.json, l’absence de caractères ^ ou ~ dans la liste des dépendances dans le fichier package.json. Ces éléments sont précisés plus haut.

Supprimer les packages du cache

A chaque installation d’un package, npm range les packages téléchargés dans le répertoire nommé .npm dans le répertoire home de l’utilisateur. Le répertoire cache est utilisé pour éviter de solliciter le réseau pour réinstaller des packages déjà téléchargés.

Ainsi, le cache se trouve dans le répertoire .npm. Si on liste ce répertoire:

user@debian:~% ls .npm 
anonymous-cli-metrics.json   _cacache   index-v5   _locks   _logs 

Pour supprimer le cache, il faut exécuter la commande:

user@debian:~% npm cache clean

Chercher des packages

Pour chercher des packages se trouvant parmi la liste des packages disponibles, on peut exécuter:

user@debian:~% npm search <nom partiel du package> 

Supprimer des packages non référencés

Certains packages peuvent être installés mais non référencés dans le fichier package.json. Pour supprimer ces packages, on peut exécuter:

user@debian:~% npm prune

Utilisation de scripts

Un des grands intérêts de npm est de pouvoir exécuter des scripts dans le cadre de certaines actions. Pour exécuter un script, il faut exécuter la commande:

user@debian:~% npm run <nom du script> 

ou

user@debian:~% npm run-script <nom du script> 

Pour voir la liste des scripts disponibles, on peut écrire:

user@debian:~% npm run 

ou

user@debian:~% npm run-script 

Certaines actions peuvent être exécutées directement sans forcément utiliser la syntaxe npm run <nom de la commande> ou npm run-script <nom de la commande>.

Par exemple:

  • npm install: permet d’installer des packages.
  • npm pack: produit un fichier compressé des fichiers à déployer.
  • npm publish: publie un package.
  • npm restart: exécute les scripts stop et start dans cet ordre sauf si un script spécifique nommé restart est précisé.
  • npm start: exécute le script nommé start généralement pour démarrer le serveur Node.js.
  • npm stop: exécute le script nommé stop généralement pour stopper le serveur Node.js.
  • npm test: permet d’exécuter les tests.
  • npm uninstall: désinstalle un ou plusieurs packages.
  • npm unpublish: supprime un package qui a été publié.

Les autres scripts doivent être exécutés en utilisant la syntaxe npm run <nom de la commande> ou npm run-script <nom de la commande>.

Le code correspondant aux scripts peut être implémenté dans l’élément de configuration scripts dans le fichier package.json. Par exemple, on peut voir cet élément de configuration dans le fichier généré plus haut (grâce à npm init):

{ 
  "name": "test_package", 
  "version": "1.0.0", 
  "description": "Description du package test_package", 
  "main": "index.js", 
  "scripts": { 
    "test": "echo \"Error: no test specified\" && exit 1" 
  },
  "author": "", 
  "license": "ISC" 
} 

Dans cet exemple, seul le script test est implémenté.

Pour certaines commandes, il n’est pas forcément nécessaire d’implémenter du code pour qu’un traitement soit effectué comme npm install, npm pack, npm publish, npm uninstall et npm unpublish.

npm considère qu’un script qui renvoie 0 a réussi son exécution et à l’opposé, un script qui renvoie 1 a échoué.

Ajout du chemin du répertoire global dans $PATH

Lors de l’exécution des scripts avec npm run, le chemin du répertoire <prefix>/node_modules/.bin (<prefix> étant le chemin du répertoire global) est rajouté à la variable d’environnement $PATH. Il n’est donc pas nécessaire d’indiquer le chemin complet de ce répertoire pour attendre les binaires qui s’y trouvent.

Par exemple, pour démarrer les tests avec protractor, il n’est pas nécessaire d’écrire le chemin <prefix>/node_modules/.bin/protractor protractor-config.js, on peut écrire directement dans le fichier package.json:

"scripts": { 
    "test": "protractor protractor-config.js" 
  } 

Exécution de scripts personnalisés

En plus de tous les scripts décrits plus haut, on peut personnaliser le nom d’un script à exécuter en l’indiquant dans le fichier package.json.
Par exemple, si on nomme un script myscript:

"scripts": { 
    "myscript": "echo 1" 
  } 

On peut appeler ce script directement en utilisant la même syntaxe:

npm run myscript

ou

npm run-script myscript

Dépendances entre les scripts

Pour la plupart des scripts, quand on exécute un script nommé <script>, les scripts suivants seront exécutés s’ils sont implémentés:

  • pre<script>: il sera exécuté avant le script <script>.
  • post<script>: il sera exécuté après le script <script>.

Si un script dans la suite pre<script>, <script> et post<script> échoue (renvoie 1), l’exécution s’interrompt.

Par exemple, pour la plupart des scripts la règle indiquée précédemment est valable:

  • pretesttestposttest
  • prestartstartpoststart
  • prestopstoppoststop
  • prerestartrestartpostrestart
  • preuninstalluninstallpostuninstall

Pour d’autres commandes, le workflow est plus complexe:

  • pack: prepublishprepareprepackpackpostpack
  • publish: prepublishprepareprepublishOnlypublishpostpublish
  • install (sans arguments supplémentaires): prepublishpreparepreinstallinstallpostinstall

Ajouter des arguments en exécutant un script

On peut transmettre des arguments à un script directement à partir de la ligne de commande npm. Par exemple, en exécutant:

npm run test -- --grep="pattern" 

Les arguments --grep="pattern" sont transmis au script test qui sera exécuté.

Exécuter des scripts dans des packages

On peut exécuter des scripts présents dans des packages en exécutant la commande:

npm explore <nom du package> -- npm run <nom du script> 

Exemple de configuration des scripts d’un fichier package.json

Dans le cadre d’un projet Typescript, voici un exemple d’implémentation de scripts dans le fichier package.json:

"scripts": { 
  "info": "npm-scripts-info", 
  "build": "run-s clean && run-p build:*", 
  "build:main": "tsc -p tsconfig.json", 
  "build:module": "tsc -p tsconfig.module.json", 
  "fix": "run-s fix:*", 
  "fix:prettier": "prettier \"src/**/*.ts\" --write", 
  "fix:tslint": "tslint --fix --project .", 
  "test": "run-s build test:*", 
  "test:lint": "tslint --project . && prettier \"src/**/*.ts\" --list-different", 
  "test:unit": "nyc --silent ava", 
  "test:nsp": "nsp check", 
  "watch": "run-s clean build:main && run-p \"build:main -- -w\" \"test:unit -- --watch\"", 
  "cov": "run-s build test:unit cov:html && opn coverage/index.html", 
  "cov:html": "nyc report --reporter=html", 
  "cov:send": "nyc report --reporter=lcov > coverage.lcov && codecov", 
  "cov:check": "nyc report && nyc check-coverage --lines 100 --functions 100 --branches 100", 
  "doc": "run-s doc:html && opn build/docs/index.html", 
  "doc:html": "typedoc src/ --target ES6 --mode file --out build/docs", 
  "doc:json": "typedoc src/ --target ES6 --mode file --json build/docs/typedoc.json", 
  "doc:publish": "gh-pages -m \"[ci skip] Updates\" -d build/docs", 
  "version": "standard-version", 
  "reset": "git clean -dfx && git reset --hard && npm i", 
  "clean": "trash build test", 
  "all": "run-s reset test cov:check doc:html", 
  "prepare-release": "run-s all version doc:publish" 
} 

Pour résumer…

Voici un tableau récapitulatif des commandes les plus utiles:

Commande Raccourci

npm install

npm install npm i Installe les packages indiqués dans le fichier package.json
npm install <package> npm i <package> Installe la dernière version d’un package
npm install <package>@<version> npm i <package>@<version> Installe une version particulière d’un package
npm install <package>@">=2 <3.0" npm i <package>@">=2 <3.0" Installe un package en précisant des conditions sur la version
npm install <package> --global npm i <package> -g Installe un package dans le répertoire global
npm install <package> --save-dev npm i <package> --save-dev Installe un package et indique ce package dans la partie devDependencies du fichier package.json
npm install <package> --no-save npm i <package> --no-save Installe un package sans le mentionner dans le fichier package.json
npm install @<nom du domaine>/<package> npm i @<nom du domaine>/<package> Installe un package appartenant à un domaine particulier (i.e. scope).
Par exemple: npm install @types/jquery
npm install <utilisateur>/<repository> npm i <utilisateur>/<repository> Installe un package à partir de GitHub
npm install <utilisateur>/<repository>#<branche> npm i <utilisateur>/<repository>#<branche>
npm install github:<utilisateur>/<repository> npm i github:<utilisateur>/<repository>

npm update

npm update npm up Met à jour les packages listés dans la partie dependencies du fichier package.json
npm update --dev npm up --dev Met à jour les packages listés dans la partie devDependencies du fichier package.json
npm update --global npm up -g Met à jour les packages se trouvant dans le répertoire global
npm update <package> npm up <package> Met à jour un package spécifique
npm outdated Affiche les packages à mettre à jour
npm outdated <package> Affiche si un package spécifique peut être mis à jour
npm uninstall <package> npm un <package> Désinstalle un package
npm uninstall <package> --global npm un <package> -g Désintalle un package du répertoire global

npm list

npm list npm ls Liste les packages et leurs dépendances
npm list --global npm ls -g Liste les packages dans le répertoire global
npm list --depth=0 npm ls --depth=0 Liste les packages sans afficher leurs dépendances
npm ll Liste les packages en affichant plus de détails
npm la

Autres commandes

npm view <package> Affiche les détails d’un package
npm view <package> versions Affiche les versions disponibles d’un package
npm search <nom partiel d'un package> Affiche les packages disponibles à partir d’un nom partiel
Références
Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedInEmail this to someonePrint this page