Tracks

書いてみたい方はココを参照下さい。

PDLで数値計算 B!


hiratara


こんにちは、週末海でマンボウを獲っていたらラギアクルスに襲われた@hirataraです。今回はPerl Data Languageについて紹介します。

Perl Data LanguageとはMATLABやNumpy、Rなどと同様に、多次元配列を効率よく扱って数値計算を実現するためのライブラリです。cpanmで普通にインストールすれば使えますが、グラフを描画したり本格的な数値計算のライブラリであるGSLのバインディングを利用したりする場合はhomebrewでゴニョゴニョしたりする必要があるので、多少頑張って下さい。

基本的にはpdl関数でオブジェクトに変更してから使います。

use PDL;
my $pdl = pdl [[1, 0, 0], [0, 1, 0], [0, 0, 1]];
print $pdl;
【実行結果】
[
 [1 0 0]
 [0 1 0]
 [0 0 1]
]

pdlが得意なのは、多次元配列内の要素の一括処理です。

$pdl += 1;
print $pdl;
【実行結果】
[
 [2 1 1]
 [1 2 1]
 [1 1 2]
]
$pdl = asin ($pdl / 2);
print $pdl;
【実行結果】
[
 [ 1.5707963 0.52359878 0.52359878]
 [0.52359878  1.5707963 0.52359878]
 [0.52359878 0.52359878  1.5707963]
]

様々な方法で多次元配列を作ることもできます。

my $zero = zero 4, 2, 3;
my $iter = iterate 4, 2, 3;
print $zero;
print $iter;
【実行結果】
[
 [
  [0 0 0 0]
  [0 0 0 0]
 ]
 [
  [0 0 0 0]
  [0 0 0 0]
 ]
 [
  [0 0 0 0]
  [0 0 0 0]
 ]
]

[
 [
  [0 1 2 3]
  [4 5 6 7]
 ]
 [
  [ 8  9 10 11]
  [12 13 14 15]
 ]
 [
  [16 17 18 19]
  [20 21 22 23]
 ]
]

pdlコマンドというshellも着いてるので、結果を確認しながら計算を進めることもできます。

% pdl
perlDL shell v1.354_001
...
pdl> $x = grandom 100000

pdl> p avg $x
-0.000427235348789782
pdl> use PDL::Stats

pdl> p $x->var
0.998671207190908
pdl> $h = histogram $x, 0.1, -4, 80

グラフも出力できます。

pdl> use PDL::Graphics::PGPLOT
 Graphics device/type (? to see list, default /NULL): ?
 PGPLOT v5.2.2 Copyright 1997 California Institute of Technology
 Interactive devices:
    /XWINDOW   (X window window@node:display.screen/xw)
    /XSERVE    (A /XWINDOW window that persists for re-use)
 Non-interactive file formats:
    /GIF       (Graphics Interchange Format file, landscape orientation)
    /VGIF      (Graphics Interchange Format file, portrait orientation)
    /LATEX     (LaTeX picture environment)
    /NULL      (Null device, no output)
    /PNG       (Portable Network Graphics file)
    /TPNG      (Portable Network Graphics file - transparent background)
    /PS        (PostScript file, landscape orientation)
    /VPS       (PostScript file, portrait orientation)
    /CPS       (Colour PostScript file, landscape orientation)
    /VCPS      (Colour PostScript file, portrait orientation)
 Graphics device/type (? to see list, default /NULL): /XWINDOW
pdl> line $h->xlinvals(-4, 4), $h
line: xmin=-4; xmax=; ymin=1; ymax=4034

ベンチマークをとってみる

PDLを使うと何が嬉しいかというと、高速でかつメモリをほとんど使わないことです。生のC配列のような振る舞いをするのだから当然ですね。

では、一応比べてみましょう。grandomで正規分布に従う乱数を100万個用意し、その分散を求めて速度を比べてみます。

use strict;
use warnings;
use Benchmark qw(cmpthese);
use PDL;
use PDL::Stats;

sub variance_pp($) {
    my $ref = shift;

    my $sum = 0;
    $sum += $_ for @$ref;

    my $sum2 = 0;
    $sum2 += $_ ** 2 for @$ref;

    $sum2 / @$ref - ($sum / @$ref) ** 2;
}

sub variance_pdl($) {
    my $data = shift;
    sum($data ** 2) / $data->getdim(0) - ((sum $data) / $data->getdim(0)) ** 2;
}

my $data = grandom 1_000_000;
my @data = list $data;

print variance_pp \@data , "\n";
print variance_pdl $data , "\n";
print $data->var, "\n";

cmpthese(100, {
    'pp'  => sub { variance_pp \@data },
    'pdl' => sub { variance_pdl $data },
    'pdl_v' => sub { $data->var },
});
【実行結果】
            (warning: too few iterations for a reliable count)
        Rate    pp   pdl pdl_v
pp    5.29/s    --  -87%  -98%
pdl   41.0/s  675%    --  -86%
pdl_v  303/s 5630%  639%    --

Pure Perlで書くと50ms超えでdieされて悲しい目に遭うことが予想されますが、PDLを使えば25msほどで処理できるので穏便に済みます。しかも、配列内の値を一度に操作できるので記述も非常に簡単です。PDL::Statsで用意されているvarメソッドに至っては、全ての計算をPDL内で済ませるので圧倒的速度になってますね。

さらに巨大な配列

Perlの配列の添字は32bitまでらしいですが、PDLではそれ以上でも使えます。デフォルトでは30bitまで扱えます。

% perl -MPDL -e 'my $x = zeroes byte, 2 ** 30; print $x->slice(2 ** 30 - 1), "\n";'
[0]

それ以上の大きさを扱いたい場合は、$PDL::BIGPDLをセットするとよいでしょう。

% perl -MPDL -e 'my $x = zeroes byte, 2 ** 30 + 1; print $x->slice(2 ** 30), "\n";'
Probably false alloc of over 1Gb PDL! (set $PDL::BIGPDL = 1 to enable) at Basic/Core/Core.pm.PL (i.e. PDL::Core.pm) line 854.
% perl -MPDL -e '$PDL::BIGPDL = 1; my $x = zeroes byte, 2 ** 30 + 1; print $x->slice(2 ** 30), "\n";'
[0]

PDLで画像操作

PDLはメモリ効率が非常によいので、画像を丸っと取り込んでピクセル単位で弄るという操作にも向いています。以下のプログラムは色のついた画像を読み込んで白黒の画像になるようピクセル変換をするものです。

use PDL;
use PDL::IO::Pic qw(rpic wpic);

my $pdl = rpic "bd31d4c5ff720790ec8b8f24cc4f5eb1.jpeg";

# show 5x5 pixels
print $pdl->slice(":,0:4,0:4"), "\n";

# Grayscale
$pdl = inner $pdl, pdl [1/3, 1/3, 1/3];
wpic $pdl, "fujisan.jpeg";
【実行結果】
[
 [
  [20 14 18]
  [22 16 20]
  [22 16 20]
  [20 14 18]
  [20 14 18]
 ]
 [
  [20 14 18]
  [22 16 20]
  [22 16 20]
  [21 15 19]
  [20 14 18]
 ]
 [
  [19 13 17]
  [22 16 20]
  [23 17 21]
  [21 15 19]
  [20 14 18]
 ]
 [
  [18 12 16]
  [21 15 19]
  [23 17 21]
  [21 15 19]
  [20 14 18]
 ]
 [
  [17 11 15]
  [19 13 17]
  [21 15 19]
  [22 16 20]
  [21 15 19]
 ]
]

非常に簡単ですね!

まとめ

PDLを使えば、様々な数値計算をPerl上で実現することができます。自分ではまだ試してませんが、ドキュメントを見ると積分や各種検定を行う関数も実装されてそうです。この分野では近年PythonのNumPyとSciPyを使う方が非常に多いですが、Perlの方が得意であればPDLを使うというのもよい選択肢になるでしょう。