Find Jobs
Hire Freelancers

pyspark rows to columns

$10-30 USD

Zavřený
Zveřejněno přibližně před 3 roky

$10-30 USD

Zaplaceno při doručení
I have a dataframe where I need to convert rows of the same group to columns. basically pivot these. below is my df. +------------+-------+-----+-------+ |Customer |ID |unit |order | +------------+-------+-----+-------+ |John |123 |00015|1 | |John |123 |00016|2 | |John |345 |00205|3 | |John |345 |00206|4 | |John |789 |00283|5 | |John |789 |00284|6 | +------------+-------+-----+-------+ I need the resultant data for the above as.. +--------+-------+--------+----------+--------+--------+-----------+--------+-------+----------+ |state | ID_1 | unit_1 |seq_num_1 | ID_2 | unit_2 | seq_num_2 | ID_3 |unit_3 |seq_num_3 | +--------+-------+--------+----------+--------+--------+-----------+--------+-------+----------+ |John | 123 | 00015 | 1 | 345 | 00205 | 3 | 789 |00283 | 5 | |John | 123 | 00016 | 2 | 345 | 00206 | 4 | 789 |00284 | 6 | +--------+-------+--------+----------+--------+--------+-----------+--------+------- I tried to groupBy and pivot() function, but its throwing error says large pivot values found. need an alternate solution. thanks Using Spark 2.3
IČ projektu: 29504624

O projektu

4 nabídky
Vzdálený projekt
Aktivní před 3 roky

Chcete si vydělat nějaké peníze?

Výhody podávání nabídek na Freelancer

Stanovte si rozpočet a časový rámec
Získejte za svou práci zaplaceno
Načrtněte svůj návrh
Registrace a podávání nabídek je zdarma
4 freelanceři nabízejí v průměru $29 USD za tuto práci
Avatar uživatele
Hi, I hope you are doing well, I have completed your task please let me know if I can share the code and generated output. +--------+---+-----+-----+---+-----+-----+---+-----+-----+ |Customer| id| unit|order| id| unit|order| id| unit|order| +--------+---+-----+-----+---+-----+-----+---+-----+-----+ | John|123|00015| 1|345|00205| 3|789|00283| 5| | John|123|00016| 2|345|00206| 4|789|00284| 6| +--------+---+-----+-----+---+-----+-----+---+-----+-----+ As I am professional data engineer having more than 4 years of experience in data Analyst. Having great understanding of Pyspark and Hadoop. Thanks Rahul
$30 USD v 1 dni
3,5 (2 recenze)
1,1
1,1
Avatar uživatele
I have 3+ years experience with Bigdata Hadoop as Data Engineer and 1+ years in building data pipelines using dataproc, dataflow using spark scala, java.
$35 USD v 2 dnech
0,0 (0 recenze)
0,0
0,0
Avatar uživatele
Hi, I have more than 4 years of experience in the big daga field. During this period I have worked on many spark applications. I have worked on pivoting and un-pivoting operations before and I can ensure you that I can do it with good performance as well. Kindly let me know of further details and I can start working on it right away. Regards, Amith
$35 USD v 2 dnech
0,0 (0 recenze)
0,0
0,0
Avatar uživatele
I have more than 3 years of experience in Data engineering hadoop and Spark framework. I also work with the business to gather new requirements to write new Spark jobs and to optimise the current jobs.I have also worked upon data ingestions systems like kafka and flume. so i have end to end experience from data ingestions to data analysis.. Feel free to contact me.
$15 USD v 2 dnech
0,0 (0 recenze)
0,0
0,0

O klientovi

Pochází z UNITED STATES
moline, United States
5,0
3
Ověřená platební metoda
Členem od říj 27, 2016

Ověření klienta

Díky! Poslali jsme vám e-mailem odkaz pro získání kreditu zdarma.
Při odesílání e-mailu se něco pokazilo. Zkuste to prosím znovu.
Registrovaných uživatelů Zveřejněných projektů
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Načítání náhledu
Bylo uděleno povolení ke geolokaci.
Vaše doba přihlášení vypršela a byli jste odhlášeni. Přihlaste se znovu.