Wat is verkleinen per toets?

2024 Auteur: Lynn Donovan | [email protected]. Laatst gewijzigd: 2023-12-15 23:51

Spark RDD reduceByKey-functie voegt de waarden voor elk samen toets een associatief gebruiken verminderen functie. Dat betekent intuïtief dat deze functie hetzelfde resultaat produceert wanneer herhaaldelijk toegepast op dezelfde set RDD-gegevens met meerdere partities, ongeacht de volgorde van het element.

Wat is dan het verschil tussen groupByKey en reduceByKey?

groupByKey () is alleen om uw dataset te groeperen op basis van een sleutel. reduceByKey () is zoiets als groeperen + aggregatie. reduceByKey kan worden gebruikt wanneer we op een grote dataset draaien. aggregateByKey() is logisch hetzelfde als reduceByKey () maar het laat je resultaat retourneren in verschillend type.

Weet ook, waarom is actie in vonk verminderen? Vonken verminderen operatie is een actie soort bewerking en het activeert een volledige DAG-uitvoering voor alle opgestelde luie instructies. Vonk RDD verminderen functie reduceert de elementen van deze RDD met behulp van de gespecificeerde commutatieve en associatieve binaire operator. Vonken verminderen bediening is bijna hetzelfde als: verminderen methode in Scala.

Wat is naast bovenstaande Pairrdd?

Spark biedt speciale bewerkingen op RDD's die sleutel/waarde-paren bevatten. Deze RDD's worden paar-RDD's genoemd. Paar-RDD's zijn een nuttige bouwsteen in veel programma's, omdat ze bewerkingen blootleggen waarmee u parallel op elke toets kunt reageren of gegevens over het netwerk kunt hergroeperen. RDD's koppelen zijn KEY/VALUE-paren.

Is reduceByKey een actie?

reduce() voert een verzameling uit die niet wordt toegevoegd aan de gerichte acyclische grafiek (DAG), dus wordt geïmplementeerd als een actie . Echter, reduceByKey () retourneert een RDD die gewoon een ander niveau/status in de DAG is en daarom een transformatie is.