data/ — Lyx Data Library

Pandas-ähnliche Datenanalyse-Bibliothek für Lyx. Die data/-Units sind eigenständig vom std/-Namespace und werden separat importiert. Sie richten sich an Datenanalyse, ETL-Pipelines, maschinelles Lernen und statistische Auswertungen — mit native Lyx-Implementierungen ohne externe Abhängigkeiten.

import data.core;

Eindimensionales typisiertes Array mit optionalen Labels.

type Series = struct {
  data:    int64;   // Pointer auf Datenspeicher (int64*)
  labels:  int64;   // Pointer auf Labelarray (pchar*), 0 = kein Label
  length:  int64;   // Anzahl Elemente
  colType: int64;   // COL_INT64 | COL_FLOAT | COL_STRING | COL_BOOL
  name:    int64;   // Spaltenname (pchar)
};

Zweidimensionale Tabelle mit benannten Spalten.

type DataFrame = struct {
  columns:     int64;   // Pointer auf Column-Array (je 16 Byte)
  colCount:    int64;
  rowCount:    int64;
  colCapacity: int64;   // max. 16 Spalten
  rowCapacity: int64;   // max. 1024 Zeilen
  index:       int64;   // Pointer auf Index-Labels (pchar*), 0 = kein Index
  indexName:   int64;   // Indexname (pchar)
  hasIndex:    int64;   // 1 wenn Index gesetzt
};

Aufgeschlüsselte Unix-Zeitangabe.

type DateTime = struct {
  year: int64;  month: int64;  day: int64;
  hour: int64;  minute: int64; second: int64;
};

Ergebnis eines booleschen Vergleichs auf einer Series.

type BoolSeries = struct {
  data:   int64;   // Pointer auf bool-Array (0/1 als int64)
  length: int64;
  name:   int64;
};

Mehrfach-Aggregationsergebnis für SeriesAggMulti.

type AggResult = struct {
  sum: int64;  mean: int64;  min: int64;  max: int64;  count: int64;
};

Ergebnis von DataFrameGroupBy.

type GroupByResult = struct {
  df:         DataFrame;
  keyCol:     int64;      // Pointer auf Schlüsselspaltenname
  groups:     int64;      // Pointer auf unique Schlüsselwerte
  groupRows:  int64;      // Pointer auf Zeilenindizes je Gruppe
  groupCount: int64;
};

Ergebnis von DataFrameGroupByMulti (mehrere Schlüsselspalten).

type MultiGroupByResult = struct {
  df:          DataFrame;
  keyCols:     int64;   // Pointer auf Array von Spaltennamen-Pointern
  keyColCount: int64;
  groups:      int64;
  groupRows:   int64;
  groupCount:  int64;
};

import data.io;

Abhängigkeit: data.core

data.io liest CSV-Dateien in einen DataFrame ein und schreibt DataFrames als CSV zurück. Der Parser erkennt die erste Zeile als Header und interpretiert alle Zellwerte als int64. String-Spaltenwerte werden beim Lesen nicht als solche erkannt — für gemischte Daten müssen Spaltentypen nach dem Import manuell gesetzt werden.

Hinweise:

• Anführungszeichen in Feldern werden beim Parsen überlesen.
• Der Schreibpuffer fasst 64 KB; bei größeren DataFrames wird automatisch geflusht.

import data.core;
import data.io;

var df: DataFrame := ReadCSV("input.csv");
DataFrameMapMul(df, "price", 2);
WriteCSV(df, "output.csv");

import data.stats_batch;

SIMD-bereite Batch-Funktionen für direkt übergebene Werte — kein Series-Zugriff nötig. Ideal für kleine, feste Datenmengen (4, 8 oder 16 Werte), die in einer einzigen Operation ausgewertet werden sollen, ohne vorher eine Series aufzubauen.

import data.core;
import data.io;

// DataFrame aufbauen
var df: DataFrame := DataFrameNew();
DataFrameAddColumn(df, "name",  COL_STRING);
DataFrameAddColumn(df, "age",   COL_INT64);
DataFrameAddColumn(df, "score", COL_INT64);

DataFrameAppendRow(df);
DataFrameSetString(df, "name", 0, "Alice");
DataFrameSetInt(df, "age",   0, 30);
DataFrameSetInt(df, "score", 0, 85);

DataFrameAppendRow(df);
DataFrameSetString(df, "name", 1, "Bob");
DataFrameSetInt(df, "age",   1, 25);
DataFrameSetInt(df, "score", 1, 92);

DataFrameAppendRow(df);
DataFrameSetString(df, "name", 2, "Carol");
DataFrameSetInt(df, "age",   2, 35);
DataFrameSetInt(df, "score", 2, 78);

// Filtern: score > 80
var filtered: DataFrame := DataFrameFilter(df, "score", OP_GT, 80);
DataFramePrint(filtered);

// Sortieren nach age
var sorted: DataFrame := DataFrameSortBy(df, "age");
DataFramePrint(sorted);

// Statistik
var scoreS: Series := DataFrameGetSeries(df, "score");
PrintInt(SeriesMean(scoreS));   // 85
PrintInt(SeriesMin(scoreS));    // 78
PrintInt(SeriesMax(scoreS));    // 92

// CSV speichern
WriteCSV(df, "output.csv");