Wat is Emrfs?
Wat is Emrfs?

Video: Wat is Emrfs?

Video: Wat is Emrfs?
Video: AWS re:Invent 2022 - What’s new with Amazon EMR (ANT302) 2024, November
Anonim

Het EMR-bestandssysteem ( EMRFS ) is een implementatie van HDFS die alle Amazon EMR-clusters gebruiken voor het lezen en schrijven van reguliere bestanden van Amazon EMR rechtstreeks naar Amazon S3. Met gegevensversleuteling kunt u objecten versleutelen die: EMRFS schrijft naar Amazon S3, en activeert EMRFS om te werken met versleutelde objecten in Amazon S3.

Wat is de consistente opvatting van Emrf hierover?

De EMRFS consistente weergave creëert en gebruikt metadata in een Amazon DynamoDB-tabel om een consistente mening van uw S3-objecten. Deze tabel houdt bepaalde bewerkingen bij, maar bevat geen van uw gegevens.

wat is het verschil tussen s3 en s3a? Dit is de verschil tussen de boom: s3 is een op blokken gebaseerde overlay bovenop Amazon S3 , terwijl s3n/ s3a zijn niet. Deze zijn objectgebaseerd. s3n ondersteunt objecten tot 5 GB wanneer de grootte van belang is, terwijl s3a ondersteunt objecten tot 5TB en heeft hogere prestaties.

Gebruikt EMR dienovereenkomstig HDFS?

EMR Bestandssysteem (EMRFS) Jij kan gebruiken of HDFS of Amazon S3 als het bestandssysteem in uw cluster. Meestal Amazon S3 is gebruikt om invoer- en uitvoergegevens op te slaan en tussenresultaten worden opgeslagen in HDFS.

Wat is s3a?

S3A (URI-schema: s3a ) Een opvolger van de S3 Native, s3n fs, de S3a : het systeem gebruikt de bibliotheken van Amazon om mee te communiceren S3 . Dit maakt het mogelijk S3a om grotere bestanden te ondersteunen (geen limiet van 5 GB meer), bewerkingen met hogere prestaties en meer.

Aanbevolen: