data-format-lab

データフォーマット形式は、それぞれどのデータ形式を使ったらいいのか、わからないことが多々あります。codexとGPT-5.6-luna使用し、実際に、compact TSV(全文でのtoken効率と、データ圧縮率), jsonl(agent用の短文prompt) , parquet&vortex(大規模なデータ) , Lancedb (意味検索)に向く。など、形式の特徴・比較研究をしました。