Le piège de la fragmentation : Les fichiers de moins de 128 Ko
Pour réduire la facture de stockage S3, le réflexe immédiat est de configurer des règles de cycle de vie (Lifecycle Policies) afin de déplacer les anciennes données vers des classes de stockage « froides », telles que S3 Standard-IA (Infrequent Access) ou S3 Glacier. Sur le papier, le prix au gigaoctet chute drastiquement. Dans la réalité, cela peut paradoxalement faire exploser votre facture.
La règle des 128 Ko (Minimum Object Size Penalty) : Les classes de stockage économiques d’AWS (Standard-IA, One Zone-IA, et Glacier) imposent une taille minimale de facturation par Objet fixée à 128 Ko (Kilooctets). Cela signifie que le fournisseur Cloud alloue un bloc physique de 128 Ko pour votre fichier, quelle que soit sa taille réelle.
Si vous archivez des millions de tout petits fichiers, comme des logs d’erreurs (2 Ko), des reçus de transactions (5 Ko), des métadonnées JSON (10 Ko) ou des vignettes d’images (20 Ko), la pénalité est catastrophique.
Démonstration mathématique du désastre FinOps : Imaginez que vous déplacez 10 millions de fichiers de logs pesant chacun 10 Ko vers S3 Standard-IA.
- Taille réelle de vos données : 10 millions × 10 Ko = 100 Go.
- Taille facturée par AWS : 10 millions × 128 Ko = 1,28 To (Téraoctets).
- La pénalité : Vous payez pour 1 280 % de données que vous ne possédez pas. De plus, la transition elle-même consommera 10 millions de requêtes API de transition de cycle de vie, facturées à prix d’or, effaçant des années d’économies de stockage espérées.
Auditez en continu et maîtrisez vos coûts et risques S3
tamper vous aide à repérer les dérives de configuration et les risques de gouvernance, 100% sans agent et sans latence.
Le réflexe d’optimisation :
- L’agrégation (Tarballing) : Avant d’archiver, concevez des pipelines de données (via AWS Lambda ou AWS Glue) qui regroupent ces milliers de petits fichiers quotidiens en une seule archive consolidée (TAR.GZ ou Parquet) de plusieurs dizaines de mégaoctets, puis envoyez cette archive vers Glacier.
- Garder le « froid » au « chaud » : Si l’agrégation est techniquement impossible, il est souvent plus rentable financièrement de laisser ces petits fichiers indéfiniment dans la classe S3 Standard (qui n’impose aucune taille minimale facturée) plutôt que de les déplacer vers une classe inférieure.
Les « Multipart Uploads » incomplets : La matière noire de S3
Le second réflexe FinOps concerne une mécanique interne essentielle du stockage réseau : le téléversement en plusieurs parties (Multipart Upload).
Comment fonctionne le Multipart Upload ? Pour envoyer un fichier volumineux (plus de 100 Mo) vers S3, l’API exige qu’il soit découpé en plusieurs « morceaux » (parts) envoyés en parallèle, généralement de 5 Mo chacun. L’opération se déroule en trois étapes :
L’application initie la demande (CreateMultipartUpload).
Elle envoie les dizaines de morceaux (UploadPart).
Elle ordonne à S3 de fusionner les morceaux pour finaliser l’Objet (CompleteMultipartUpload).
Le problème de la déconnexion : Que se passe-t-il si l’ordinateur portable de l’utilisateur se met en veille, si l’application crashe, ou si le réseau coupe avant la troisième étape (la finalisation) ?
Le processus est abandonné (Aborted). Cependant, les morceaux (parts) qui ont réussi à atteindre les serveurs d’AWS restent stockés dans le Bucket. Le véritable danger est que ces parties orphelines sont totalement invisibles : elles n’apparaissent ni dans la console web d’AWS, ni lors d’une requête de listage classique (LIST Objects).
Pourtant, AWS vous les facture au tarif plein de la classe S3 Standard, mois après mois. Sur des Data Lakes ou des plateformes vidéos (où des fichiers de plusieurs dizaines de gigaoctets échouent régulièrement lors de l’upload), cette « matière noire » peut représenter des téraoctets de données facturées inutilement.
Le réflexe d’optimisation :
La solution est radicalement simple mais doit être implémentée systématiquement sur tous vos Buckets dès leur création. Il faut configurer une règle de cycle de vie (Lifecycle Rule) ciblant spécifiquement ces résidus :
- Action : Delete incomplete multipart uploads (Supprimer les téléchargements partitionnés incomplets).
- Délai : 7 jours. Grâce à cette règle, S3 va automatiquement purger tout morceau de fichier qui traîne depuis plus d’une semaine sans avoir reçu son signal de finalisation. Le coût d’application de cette règle est nul, et le retour sur investissement est immédiat.
Conclusion
La gestion financière d’une infrastructure S3 requiert une analyse fine des métriques techniques. L’utilisation d’outils d’analyse de stockage (comme S3 Storage Lens) couplée à une solide gouvernance de la donnée permet de détecter ces taux de fragmentation aberrants et d’automatiser le nettoyage des Multipart Uploads abandonnés. Un Bucket FinOps-Optimisé n’est pas un Bucket où l’on stocke tout sur Glacier, c’est un Bucket où la nature de la donnée dicte la bonne ingénierie.