13GB Daten in 1,5 Sekunden verarbeiten? Mit Java?? Das geht???

Deine Mission, solltest Du Dich entscheiden, sie anzunehmen, lautet wie folgt: aggregiere Temperaturwerte aus einer CSV-Datei und gruppiere sie nach Wetterstation. Der Haken an der Sache: Es gilt eine Milliarde Werte zu verarbeiten!
Mit dieser Aufgabe zog die “One Billion Row Challenge” die Java-Community zu Beginn dieses Jahres in ihren Bann. In diesem Vortrag gebe ich einen Einblick in einige der Tricks, mit denen die schnellsten Lösungen arbeiten, um die 13 GB Daten der Challenge in weniger als zwei Sekunden zu verarbeiten. Parallelisierung und effektiver Speicherzugriff, geschicktes Parsen mittels SIMD und SWAR, sowie maßgeschneiderte Map-Implementierungen sind nur einige der Themen, die ich vorstellen werde.
Auch an einigen spannenden persönlichen Erfahrungen, die ich im Rahmen der Organisation dieser Challenge für und mit der Community machen durfte, möchte ich Euch teilhaben lassen.

Referent:
Gunnar Morling ist Softwareentwickler und Open-Source-Enthusiast, gegenwärtig tätig für Decodable, wo er an einer Real-Time-ETL-Plattform basierend auf Apache Flink arbeitet. Zuvor leitete er das Debezium-Projekt, eine verteilte Lösung für Change Data Capture. Er ist ein Java Champion und hat diverse Open-Source-Projekte wie JfrUnit, kcctl und MapStruct ins Leben gerufen. Gunnar bloggt auf morling.dev und teilt seine Erfahrungen in Vorträgen, u.a. bei JavaLand, QCon, JavaOne und Devoxx. Er lebt und arbeitet in Hamburg.