Is s3 gebaseerd op HDFS?
Is s3 gebaseerd op HDFS?

Video: Is s3 gebaseerd op HDFS?

Video: Is s3 gebaseerd op HDFS?
Video: AWS re:Invent 2021 - Building a data lake on Amazon S3 2024, April
Anonim

S3 is eigenlijk een oneindige opslag in de cloud, maar HDFS is niet. HDFS wordt gehost op fysieke machines, dus je kunt daar elk programma uitvoeren. Je kunt niets uitvoeren op S3 omdat het gewoon Object Store is en niet FS.

Is s3 dan een gedistribueerd bestandssysteem?

S3 is geen gedistribueerd bestandssysteem . Het is een binair objectarchief dat gegevens opslaat in sleutel-waardeparen. Het is in wezen een soort NoSQL-database. Elke bucket is een nieuwe "database", waarbij sleutels uw "mappad" zijn en waarden de binaire objecten ( bestanden ).

Je kunt je ook afvragen, is AWS gebaseerd op Hadoop? Hadoop is een raamwerk dat helpt bij het verwerken van grote datasets op meerdere computers. Het omvat Map/Reduce (parallelle verwerking) en HDFS (gedistribueerd bestandssysteem). AWS is een datawarehouse gebouwd bovenop een gepatenteerde technologie die oorspronkelijk door ParAccel is ontwikkeld.

Daarnaast, hoe breng ik bestanden over van s3 naar HDFS?

Antwoord geven. Er is geen directe manier om bestanden te kopiëren van S3 naar HDFS zonder door de lokale te gaan bestanden . U kunt echter de component tSystem in een standaardtaak gebruiken om de native Hadoop commando dat u gewoonlijk gebruikt om bestanden kopiëren , bijvoorbeeld, s3 -dist-cp.

Wat is de s3-database?

Amazone S3 of Amazon Simple Storage Service is een service die wordt aangeboden door Amazon Web Services (AWS) die objectopslag biedt via een webservice-interface. Amazone S3 gebruikt dezelfde schaalbare opslaginfrastructuur die Amazon.com gebruikt om zijn wereldwijde e-commercenetwerk te runnen.

Aanbevolen: