Se connecter avec
S'enregistrer | Connectez-vous

À quoi ressemble un pétaoctet ?

À quoi ressemble un pétaoctet ?
Par
Découvrez le Petarack

Nous savons tous ce qu’est un mégaoctet ou un gigaoctet. Même les téraoctets ont récemment intégré notre vocabulaire. Mais il est très probable qu’un bon nombre de passionnés ne se soit pas encore fait au concept de pétaoctet.

Un pétaoctet, c'est un millier de téraoctets, soit suffisamment d’espace pour environ 20 000 films en Blu-ray. Bien que nous ne soyons pas prêts de voir des pétaoctets de données dans un contexte de bureau, une compagnie appelée Aberdeen a proposé de nous envoyer leur création, plutôt réservée au monde des affaires, capable de supporter déjà plus d’un pétaoctet de données, moyennant un joli demi-million de dollars (≈ 380 000 euros). Nous avons d’abord pensé prendre cette compagnie au mot, mais nous avons finalement jugé qu'il n'y avait aucun moyen pour nous de mettre son matériel à l'épreuve compte tenu de l’équipement dont nous disposons dans notre labo de Bakersfield. Nous avons donc recueilli plus d’informations auprès d’Aberdeen et avons examiné de près de son invention.

Précisément, qu’implique la création d’un pétaoctet de stockage, et qu’avons-nous pour cette rondelette somme de 495 000 $ ?

Lire plus Lire moins
Afficher les 11 commentaires.
Cette page n'accepte plus de commentaires
  • geek_du_44 , 13 février 2012 09:51
    photo 11: Mais quel genre de personne seriez-vous pour utiliser pleinement une machine aussi énorme que ce Petarack ?

    je pense au CERN et leur LHC.
  • CrisM63@guest , 13 février 2012 11:02
    Le CERN et le LHC produisent plusieurs dizaines de Peta de données par an, ils ont des solutions packagées maison, et ils payent en général moins de 500k$ le Peta
    Cette solution n'a d'ailleurs pas grand chose de révolutionnaire, seul son sytème de fichier est intéressant avec un espace de nommage unique notamment, mais pour ça aussi, il y a des solutions équivalentes
    Bref, c'est sans doutes, une bonne solution, mais rien de très révolutionnaire pour les professionnels évoluant dans ce milieu
  • nOonours29@guest , 13 février 2012 11:41
    Le CERN packagées maison???

    Allo le CERN produit aujourd'hui 15 PB par an et espere atteindre les 20 d'ici 2015. Ils utilisent un systeme de robot en // (c'etait d'ailleurs les plus gros clients de storagetek avant leur rachet par sun...) afin de supporter les ecritures et utilisent des NAS netapp sur lequel ils ont des super prix pour la partie lecture.
    Ensuite plusieurs erreurs dans votre article, la solution au niveau du raid ne vient en rien de abeerden mais de zfs qui n'est pas qu'un simple systeme de fichier mais aussi un gestionnaire de disk (d'ailleurs l'os utilise par la societe se nomme nexenta).

    Au niveau de vmware la vrai limite de iscsi et fc ne vient pas vraiment de la taille d'un datastore mais de la gestion de la queue d'IOPS qui fait que l'on ne doit pas depasser 30 VM par datastore. Ce probleme n'existe pas en NFS meme si je conseille toujours de creer un nouveau share toutes les 100 VMs.

    Enfin sur les graphes de perfs il y a deja la presence de ssd dans certain cas (la ou il y a ecris zil).

    Bref aujourd'hui zfs enterre toute la concurrence par contre il faut savoir le manier. Et sa fait plaisir que l'on en entende parler.

    @Cris demande a netapp ou emc de te faire une armoire de 1 Pb supportant 150 000 IOPS en continue et tu verra que a moins d'etre un client super privilige tu en aura pour beaucoup plus que 500K.
    Et pour l'espace de nommage unique si tu fais allusion au namespace cluster de nexenta pour nfs (qui est inclus de base dans le protocole nfsv4 mais pas v3 et c'est la que nexenta a ete fort) il n'entre absolument pas en compte dans cette configuration puisque nous avons simplement a faire a un cluster actif actif
  • nOonours29@guest , 13 février 2012 11:46
    P.S j'ajouterai toutefois une derniere chose,
    je suis un fan absolu de zfs toutefois aujourd'hui il lui manque une chose, ce n'est pas un systeme de fichier cluster. Et dans tres peu de temps je pense que ca deviendra la norme. EMC a deja inversti avec oneFS (isilon), redhat vient de s'y mettre en rachetant glusterFS.
  • kalthen@guest , 13 février 2012 12:51
    Le prix annoncé ici dans ce genre de machine ne veut pas dire grand chose. Il depend enormement de l'utilisation: acceleration (types de disques, carte flash, connectique), redondance, replication. Sans compter tout ce qui tourne autour: les serveurs, l'infrastructure reseau, la salle des machines, le cout d'installation/design.
    1PB n'est pas exceptionnel. Netapp propose de coupler plusieurs machines pouvant heberger 4PB. Je ne sais pas trop ou se situe la limite absolue par namespace. Je suis meme pas sur qu'il en ai ;-)
  • nOonours29@guest , 13 février 2012 12:58
    @kalthen
    Oui sauf que aujourd'hui le namespace cluster de netapp est loin d'etre au point. Je ne suis pas sur qu'il y est encore un seul vrai client a utiliser ce mode en production a larche echelle.

    Alors que le namespace de nexenta est deja en production sur le cloud de korea telecom (8Pb)
    Et je le rappel cette machine n'utilise en rien les fonctionnalites de namespace, c'est simplement 2 controleurs en actif actif avec des shelves derriere
  • -1 Masquer
    lordzurp@guest , 14 février 2012 09:10
    moué, une belle machine mais pas vraiment d'innovation ...
    du zfs pour gerer le raid logiciel (j'ai le meme à la maison)
    des cartes sas pour gerer les grappes en jbod (j'ai le meme à la maison)
    2 xeons gavés de ram (mon opteron me suffit :D  )
    500Mo/s en lecture séquentielle (j'ai la meme à la maison, sur 10 To)
  • nOonours292@guest , 14 février 2012 13:35
    @lordzup
    En meme temps le but de zfs etait de rendre l'enterprise storage accessible a tous le monde.
    Par contre attention a son implementation, aujourd'hui il ne marche vraiment que sur des kernel derive de solaris (par exemple sous linux ou freenas les perfs sont catastrophiques, sous freebsd ca s'ameliore).

    Ensuite il faut comprendre que zfs est tres gourmand en ram si on veut l'utiliser a son plein potentiel en particulier si on veut activer la deduplication mais heureusement qu'il y a l2arc et les ssd pour ca.

    Tout comme il y a le zil pour descendre la latence des ecritures synchrones (non le zil n'est pas une fonctionnalite magique qui va multiplier le nbr d'IOPS)

    Enfin 2 xeon pour travailler sur de la compression temps reel et du checksum sur 1 Pb ca ne me parait pas enorme.

    Bref zfs c'est le bien encore faut-il comprendre comment il marche parce que les raccourcis zil = plein d'IOPS supplementaire, raidz = raid5, raidz2 = raid 6 et j'en passe c'est assez drole finalement
  • lordzurp@guest , 14 février 2012 14:05
    @noonours
    +1, zfs ça marche mais pas tout seul (du moins, au début)
    ca fait 1 an que je creuse FreeBSD + zfs, et effectivement il faut bien s'approprier le système pour en tirer du bon
    une fois que ça marche, c'est que du bonheur, surtout pour l'administration !
    j'ai passé sur la dedup pour les data, ca ferait un ratio de 1,10 ... pour 25Go de ram/l2arc utilisé, pas la peine. sur le système c'est pas mal, pour les jails surtout.

    bref, la PetaBox c'est une chouette intégration, mais on peut surement faire encore mieux :D 
  • nOonours292@guest , 14 février 2012 16:19
    @lordzurp

    Ouep la dedup inline c'est un grand debat dans la commu zfs. Au final il faut etre sur d'avoir un tres bon ratio pour l'utiliser (il y a plusieurs sous probleme a ca en faite, en gros pour chaque bloc deduplifier il va te prendre 230 bytes de metadata en ram mais comme zfs utilise des blocs de taille variable le calcul devient vite complexe suivant ce qui tourne au dessus, et l'autre probleme c'est que tant que ta base est en ram sa va niveau perf tu perds pas trop par contre des que tu tombe sur disque ou ssd avec ta l2arc la c'est violent. Et je n'ai pas essayer en cluster actif actif je ne sais pas comment elle est gerer).

    Je sais que le cluster actif actif impose a avoir le zil et la l2arc dans les shelves et non plus sur les controleurs (c'est stec qui sourit sur ce coup et ddrdrive qui tire la geule xD)

    En virtualisation sa peut etre pas mal. Mais la encore pas mal de parametre a modifier (avec nexenta de base il ne s'appropriera au maximum que 40% de la ram pour la dedup et ensuite ira plutot sur la l2arc en ssd alors que finalement il vaudrait mieux que la dedup soit en full ram et le caching sur la l2arc).

    Hum je pense que le niveau au dessus est de passer en namespace cluster ou d'essayer gluster. Il est difficile de piloter plus de 360 disques depuis un seul controleur aujourd'hui. Au pire avec 2 controleurs en actif actif il pourrait aller jusqu'a 720 disque en faite en faisant 2 Zpool un par controleur et en utilisant du raid 10 en dessous mais si tu as un probleme sur un controleur il faut s'attendre a une baisse de perf a ce niveau la c'est pas vraiment acceptable.

    Mais bon franchement du 150 k iops en soutenue il faut deja en avoir le besoin xD

    Pour les jails je ne sais pas j'ai commence zfs il y a maintenant 3 ans et a l'epoque sa n'existait que sur du solaris donc j'ai continuer mais je suppose que sa doit pas mal ressembler au zone
  • Glouferu@guest , 16 février 2012 13:56
    C'est bien la première fois que je tombe sur des commentaires de ce niveau :
    * Intéressant
    * avec une véritable valeur ajouté, retour d'expérience ... etc
    * Pas de trolls ...

    Si ça pouvait être comme cela à chaque fois !

    P.S.: Vous travaillez dans quelle structure pour mettre en place des architectures pareils? Une grosse SSII ? Bull ?