RUST ソートで遊ぶ

へぇーそうなんだと思っている柴犬

概要

前回の次のソート部分のコードを拡張すれば、降順、フィールドの入れ替えができるのではと思いましたので確かめてみます。

    slines.sort_by(|a, b| {
        let a_key = (&a.f1, &a.f2);
        let b_key = (&b.f1, &b.f2);
        a_key.cmp(&b_key)
    });

タプルの比較ができればいいようですので、2つの例で確かめます。

Shift-JIS のデコード・エンコードが高コストで、CSVファイルの入出力が UTF-8 ならかなり速いことも分かりました。

ソートの優先順位

優先順位を第一フィールド f1 を昇順、第三 f3 を昇順、第二 f2 を昇順にしてソートしてみます。

    slines.sort_by(|a, b| {
        let a_key = (&a.f1, &a.f3, &a.f2);
        let b_key = (&b.f1, &b.f3, &b.f2);
        a_key.cmp(&b_key)
    });

結果は下の画像のとおりです。ここで、一七が一三より先になっているのでおかしいと思われるかもしれませんが、辞書順は次のとおりですので正しい昇順であることを理解できると思います。

一　七　三　九　二　五　八　六　四

左がソート前、右がソートした結果です

降順にするには

    slines.sort_by(|a, b| {
        let a_key = (&a.f3, &b.f1, &b.f2);
        let b_key = (&b.f3, &a.f1, &a.f2);
        a_key.cmp(&b_key)
    });

左がソート前、右がソートした結果です。

使用したコード

copy

use encoding_rs::SHIFT_JIS;
use std::error::Error;
use std::fs;
use std::io::{BufWriter, Write};

// -----フィールドに応じて変えます。
struct Sline {
    f1: String,
    f2: String,
    f3: String,
}

impl Sline {
    fn new(f1: &str, f2: &str, f3: &str) -> Self {
        Self {
            f1: f1.to_string(),
            f2: f2.to_string(),
            f3: f3.to_string(),
        }
    }
}

fn run() -> Result<(), Box<dyn Error>> {
    let path = "./input.csv";
    let buf = fs::read(path).unwrap();
    let (dec, _, _) = SHIFT_JIS.decode(&buf);
    let text = dec.into_owned();
    let lines = text.lines();

    let mut slines = Vec::new();
    for (_, s) in lines.enumerate() {
        if s.trim().len() == 0 {
            continue;
        }

        let fields: Vec<_> = s.split(",").map(|field| field.trim()).collect();
　　　　// -----フィールドに応じて変えます。
        slines.push(Sline::new(fields[0], fields[1], fields[2]));
    }

    // -----ソート部分
    slines.sort_by(|a, b| {
        let a_key = (&a.f3, &b.f1, &b.f2);
        let b_key = (&b.f3, &a.f1, &a.f2);
        a_key.cmp(&b_key)
    });

    // -----ちょっと変えた部分
    let mut record = String::new();
    let mut bufw = BufWriter::new(fs::File::create("./output.csv").unwrap());
    for x in slines {
        record = format!("{}", &x.f1) + "," + &x.f2 + "," + &x.f3 + "\n";
        let (enc, _, _) = SHIFT_JIS.encode(&record);
        let output = enc.into_owned();
        bufw.write_all(&output).unwrap();
    }
    bufw.flush()?;

    Ok(())
}

fn main() {
    if let Err(err) = run() {
        println!("{:?}", err);
    }
}

結果

record = format!("{}", &x.f1) + "," + &x.f2 + "," + &x.f3 + "\n";

書き出し部分をちょっと変えてみました

    // -----1億バイトの領域を確保
    let mut record = String::with_capacity(100000000);
    for x in slines {
        // -----String の add 演算子なので x.f1 でなく &x.f1 となります。
        record = record + &x.f1 + "," + &x.f2 + "," + &x.f3 + "\n";
    }
    // -----ここに時間がかかっている
    let (enc, _, _) = SHIFT_JIS.encode(&record);
    let output = enc.into_owned();
    let mut bufw = BufWriter::new(fs::File::create("./output.csv").unwrap());
    bufw.write_all(&output).unwrap();
    bufw.flush()?;