Inhoudsopgave:

Wat zijn de belangrijkste configuratieparameters die de gebruiker moet opgeven om de MapReduce-taak uit te voeren?
Wat zijn de belangrijkste configuratieparameters die de gebruiker moet opgeven om de MapReduce-taak uit te voeren?

Video: Wat zijn de belangrijkste configuratieparameters die de gebruiker moet opgeven om de MapReduce-taak uit te voeren?

Video: Wat zijn de belangrijkste configuratieparameters die de gebruiker moet opgeven om de MapReduce-taak uit te voeren?
Video: Building private clouds in seconds using Equinix Metal and VMware Cloud Foundation - Daniel Zuthof 2024, Mei
Anonim

De belangrijkste configuratieparameters die gebruikers moeten specificeren in het "MapReduce"-framework zijn:

  • van baan invoerlocaties in het gedistribueerde bestandssysteem.
  • van baan uitvoerlocatie in het gedistribueerde bestandssysteem.
  • Invoerformaat van gegevens.
  • Uitvoerformaat van gegevens.
  • Klasse die de kaartfunctie bevat.
  • Klasse die de reduceerfunctie bevat.

Wat zijn hierin de belangrijkste configuratieparameters in een MapReduce-programma?

De belangrijkste configuratieparameters in het "MapReduce" -framework zijn:

  • Invoerlocatie van taken in het gedistribueerde bestandssysteem.
  • Uitvoerlocatie van taken in het gedistribueerde bestandssysteem.
  • Het invoerformaat van gegevens.
  • Het uitvoerformaat van gegevens.
  • De klasse die de kaartfunctie bevat.
  • De klasse die de reduceerfunctie bevat.

Men kan zich ook afvragen, wat zijn de parameters van mappers en reducers? De vier parameters voor mappers zijn:

  • LongWritable (invoer)
  • tekst invoer)
  • tekst (tussenliggende uitvoer)
  • IntWritable (tussenliggende uitvoer)

De vraag is ook, wat zijn de belangrijkste componenten van MapReduce-taak?

  • Hoofdstuurprogrammaklasse die taakconfiguratieparameters biedt.
  • Mapper-klasse die org moet uitbreiden. apache. hadop. kaartverminderen. Mapper-klasse en bieden implementatie voor de methode map ().
  • Reductieklasse die org zou moeten uitbreiden. apache. hadop. kaartverminderen. Reductie klasse.

Wat is partitioner en hoe het helpt bij het MapReduce-taakproces?

Partitioner in KaartVerminder baan uitvoering regelt de partitionering van de sleutels van de tussenliggende map-uitgangen. Met de helpen van hash-functie, sleutel (of een subset van de sleutel) leidt de partitie . Records met dezelfde sleutelwaarde gaan in hetzelfde partitie (binnen elke mapper).

Aanbevolen: