!kiyoka.blog

kiyoka日記。NendoやSekkaの開発や、最近思うことなど

最新10件!kiyoka.blog   過去記事一覧!kiyoka.blog.list

このブログを書いている人: 西山 清香(kiyoka) - twitter: @kiyoka

kiyoka.2013_05_16[PasteHub] Pastehub 0.2.6 をgemでリリース

コピペ同期サービスのクライアントを更新。

$ gem isntall pastehub

でインストールできます。

Ruby 1.9.3 以上の環境が手元にある方は、一度お試しを。

 http://pastehub.net/

comment please => kiyoka.2013_05_16

kiyoka.2013_05_13[本] TAPL 型システム入門

   型システム入門 －プログラミング言語と型の理論－: Benjamin C. Pierce

この本良さそう。第一章「はじめに」が無償公開されていたので読んでみた。

型システム入門 プログラミング言語と型の理論

Nendoに副作用「あり」か「なし」だけでも型チェックさせよう思って、もう１年以上。

自分の知識の土台が無いので、どこから手を付けて良いものかさっぱりで止まっていた。

Haskellの本を読んでもなんか関数型に偏りすぎてて、なんか釈然としなかった。

そこに来てこの本。

第一章を読むだけで自分の疑問に答えてくれそうな趣きなので、オーム社からPDF版を買った。(もう少しで紙版を買いそうになってPDFがあるのを知った)

少し高いけどそんなことは気にならない。

なんか久々にプログラミングのレベルが上がりそうな予感です。

comment please => kiyoka.2013_05_13

kiyoka.2013_03_23[Sekka][辞書] 平仮名フレーズ辞書の入れかえ成功

Wikipedia日本語版のテキストデータを使って平仮名フレーズを作った。

これまで使っていた日本語ウェブコーパス 2010は廃止した。

結果、先日のエントリ「kiyoka.2013_03_16[Sekka][辞書] 平仮名フレーズ辞書を入れかえたい」で書いたように口語体の表現が少なくなり、固めの文章が書きやすくなった。

さらに、もう一つメリットがあって、辞書のライセンスがわかりやすくなった。

WikipediaはGFDLなので、はれてSekkaの辞書は全て次のオープンな素材から生成された辞書となった。

平仮名フレーズ1 = Wikipedia

GPDL。

平仮名フレーズ2 = IPADic 

BSDライセンスに近い？ 但しDeibanでは non-freeに分類されているらしい。

日本語と片仮名  = SKKの辞書

GPL2。

というわけで、前よりもDebianなどのディストリビューションに入れやすいものになった。

一週間くらい使ってみて、Sekka 1.3.0と一緒に公開する予定。

comment please => kiyoka.2013_03_23

kiyoka.2013_03_16[Sekka][辞書] 平仮名フレーズ辞書を入れかえたい

日々使っているとSekkaの平仮名フレーズ辞書に不満が出てくる。

あまりに、口語体の表現が多く含まれているので、固めの文章を書いているときにも、口語体の表現が出て、うっかり確定してしまう。

それを直すのがめんどくさい。

なんとかならんのか…というのが発端。

たとえば、「…かもな」 みたいなフレーズがひょっこり出てきたりする。

例えば、Sekka 1.2.1で「だったのかも」と打ちたくて「dattanokamo」Ctrl-Jと入力すると、「だったのかもな」が出てくる。

友達同士で使うような最後の「ね」とか「な」とかのフレーズは辞書に入っていて欲しく無い。

もし入れるなら「ね」とか「な」が無い「だったのかも」が一緒に入っているべき。そうすれば、「だったのかも」が第一候補になる。

ただ、WebコーパスではWebのコンテンツを収集しているだけなので、それらが全てセットになっていることを保証することはできない。どれが含まれてどれが含まれないかは確率になる。

ということは、そのような口語体の表現を含まないコーパスである程度分量があるものが必要となる。

2013年の今日ならそのような n-gram コーパスはあるんじゃないか。または、簡単に作れるんじゃなか。例えばウィキペディア日本語版とか。

というわけで、久しぶりに大規模データマイニングをしてみようかなと思う。

comment please => kiyoka.2013_03_16

kiyoka.2013_02_22[MacRuby][PasteHub] SEGVしない環境変数の組合せ

自分用メモ。あまりにも時間をかけたため、残してなかったら多分後悔するだろう。

PasteHubのクラウド同期処理をMacRubyで動かすと、まれに落ちる。

MacRubyのバージョンは次のもの。

 kiyoka/MacRuby at build_macruby_for_10.6_on_Lion · GitHub

問題のコードは次のようなPure Rubyのコードだ。

    def fetchServerList( latestKey, auth )

      client = PasteHub::Client.new( auth )

      if latestKey.is_a? String

        STDERR.puts "Info: fetch one entry"

        list = [ latestKey ]

      else

        STDERR.puts "Info: fetch ALL entries"

        list = client.getList()

      end

      client.setServerFlags( list )

    end

落ちる場所は決まって、if latestKey.is_a? Stringの行だ。

latestKeyが参照する先の文字列オブジェクトがこっそりGCされるのか、gdbで見ると不正なアドレス参照で落ちていることがわかる。

MacRubyの様々な最適化オプションを外していったところ次の設定が安定することがわかった。

export VM_DISABLE_RBO=1

#export GC_DISABLE=1

export VM_OPT_LEVEL=0

export GC_DEBUG=1

export AUTO_USE_TLC=0

さて、実際にPasteHubをデプロイするとなると、GC_DEBUGは上記のままとなるが、結果はいかに。

追記:

どうやら「export AUTO_USE_TLC=0」が効いたっぽい。

しかし、これをまじめに追いかけてMacRuby本体を直すところまではコストが合わないなぁ。

XCodeの環境変数で以下を指定したら、３日使っても落ちなくなったので一件落着。

この画面は、XCodeのメニュー「Product」 → 「Edit Scheme...」で辿りつける。

comment please => kiyoka.2013_02_22

kiyoka.2013_02_15[Webサービス][クラウド] PasteHub.net αサービスユーザ募集

 PasteHub.netというサービスを作りました。早期ユーザーを募集しています。

PasteHubは一言でいうと「自分の持っているコンピュータのコピペをクラウドで同期する」という、ただそれだけのサービスです。

Dropboxのコピペ版といったところでしょうか。

開発動機

開発動機はこちらを見て頂ければと思います。※だいぶ前の発表スライドなんですが、モノが形になるまで非公開にしておりました。

 Pastehub at_kansaiemacs

現在は、対応OSがMacOS XとLinux上のEmacsのみとなっています。

要望次第で、次にどのプラットフォームをサポートするかが決まります。(Windowsやvimなどが次の候補です)

想定ユーザー

日頃から多くのLinuxサーバーに入ってEmacsで編集する方に向いています。

常にコピペが同期されている便利さに慣れると、これ無しでは生きていけません。

こんな方に向いています。

Macを2台以上持っている。

デスクトップがMacで、リモートサーバーがLinux(Emacsを常用)。

Linux(Emacsを常用)の環境をたくさん管理している。(VPS/AWS/IaaSなど)

ちなみに私はMacBook ProからAWSのEC2環境やさくらのクラウドに入ることが多いです。

多くのインスタンスでコピペ(kill-ring)が同期しています。

始め方

ユーザ登録依頼メールを送って下さい。

あとはMacOS X用クライアントやLinux用のクライアントをダウンロードしてユーザ情報を入力します。

 リンク

オープンソース

全てオープンソースです。

 kiyoka/pastehub · GitHub

この先どう発展していくかは未知数ですが、応援よろしくお願いします。

comment please => kiyoka.2013_02_15

kiyoka.2013_01_28[Xcode][MacRuby] Lion上のXcode 4.5.2でSnow Leopard用のMacRubyアプリケーションをデプロイする方法

Xcode 4.5.2 for Lion と MacRuby 0.13 (GitHubの最新master) を使っている。

10.6(Snow Leopard)のアプリケーションをdeployしたいが、なかなか成功しない。

ビルドに使っているマシンは 10.7 なのだが、そのマシンで 10.6 のアプリをデプロイできるかという問題だ。

いろいろ試してきたが、MacRubyの内部を知らないと解決しないとわかってきたので、ちゃんと腰を据えて調べることにした。

MacOS SDK 10.6を取ってくる

Xcode 4.5.2 には SDK 10.7と10.8しか付属していないので、Xcodeから取り出してコピーした。

古いXcodeは Apple Developer Centerから xcode_4.3.3_for_lion.dmg をダウンロードした。

 手順は以下を参考にした。

 cocoa - How to build for Mac OS X 10.6 SDK in Xcode versions that don't include it - Stack Overflow

Snow Leopard環境にデプロイ失敗

Lion上でビルドしたMacRubyとXcodeを使って、アプリケーションをデプロイしたが以下のエラーが出る。

 crash report of PasteHub.app 0.2.0 on Mac OS X 10.6.8

 Symbol not found: __dispatch_queue_attr_concurrent

このシンボルは libmacruby.dylib が参照しているらしく、動的リンク時に見つからないと言われている。MacRubyのビルド方法以外悪いのだろう。

MacRubyがSnow Leopardには無いAPIを使っているのだろうと思われる。

MacRubyのソースを読む

このエラーメッセージから、MacRubyのソースコードを読むことにした。

結果、MAC_OS_X_VERSION_MAX_ALLOWEDという関係ありそうなマクロを見つけた。

試しに検索してみると…

grep -nH -r MAC_OS_X_VERSION_MAX_ALLOWED *

bignum.c:995:#if defined(__LP64__) && (MAC_OS_X_VERSION_MAX_ALLOWED >= 1060)

dispatcher.cpp:690://#if MAC_OS_X_VERSION_MAX_ALLOWED < 1070

gc.c:141://#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gc.c:1024:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gc.c:1050:#if MAC_OS_X_VERSION_MAX_ALLOWED < 1070

gcd.c:107:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:252:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:268:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:519:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:552:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:1295:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:1372:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

gcd.c:1387:#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

include/ruby/defines.h:80:#if defined(__LP64__) && (MAC_OS_X_VERSION_MAX_ALLOWED >= 1060)

こんなにある。

さて、今どちらの条件でビルドされているのか調べてみた。

[gc.c] に #errorを入れて rake してみる。

#if MAC_OS_X_VERSION_MAX_ALLOWED >= 1070

#error "10.7"

    __auto_zone = objc_collectableZone();

#else

#error "10.6"

    __auto_zone = auto_zone();

#endif

ビルド。

bash-4.2$ env CC=/usr/bin/gcc CXX=/usr/bin/g++ rake

plblockimp/gentramp.sh plblockimp/x86_64/blockimp_x86_64.tramp x86_64 plblockimp/

plblockimp/gentramp.sh plblockimp/x86_64/blockimp_x86_64_stret.tramp x86_64 plblockimp/

/usr/bin/gcc -std=c99 -I. -I./include -pipe -fno-common -fexceptions -fblocks -fwrapv -g -O3 -Wall -Wno-deprecated-declarations -Werror -arch x86_64  -I./icu-1060 -I./plblockimp -c gc.c -o .objs/gc.o

gc.c:1025:2: error: #error "10.7"

rake aborted!

Command failed with status (1): [/usr/bin/gcc -std=c99 -I. -I./include -pip...]

Tasks: TOP => default => all => macruby => macruby:build => macruby:dylib => rbconfig => miniruby

(See full trace by running task with --trace)

なるほど、10.7のほうを通っている。

10.6側のコードが条件コンパイルされれば、__dispatch_queue_attr_concurrent を参照しなくなるのではないかという推測。

それには、MacOS 10.6 SDKが選択すれば良いはず。

XcodeからSDKをUIでBase SDKを選択するかのごとく、コマンドラインでgccを起動する場合でも動的にSDKを切り替えられるのではないかと思って調べてみるとあった。

どうやら、-isysroot -syslibroot を使えば良いらしい。

 例)

  -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.6.sdk

しかし、無理やり isysrootでMacOSX10.6にしても、コンパイルエラーになる。

bash-4.2$ env CC=/usr/bin/gcc CXX=/usr/bin/g++ rake

plblockimp/gentramp.sh plblockimp/x86_64/blockimp_x86_64.tramp x86_64 plblockimp/

plblockimp/gentramp.sh plblockimp/x86_64/blockimp_x86_64_stret.tramp x86_64 plblockimp/

/usr/bin/gcc -std=c99 -I. -I./include -pipe -fno-common -fexceptions -fblocks -fwrapv -g -O3 -Wall -Wno-deprecated-declarations -Werror -arch x86_64  -I./icu-1060 -I./plblockimp --sysroot=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.6.sdk -c gc.c -o .objs/gc.o

cc1: warnings being treated as errors

gc.c: In function ‘Init_PreGC’:

gc.c:1025: warning: implicit declaration of function ‘objc_collectableZone’

gc.c:1025: warning: assignment makes pointer from integer without a cast

rake aborted!

Command failed with status (1): [/usr/bin/gcc -std=c99 -I. -I./include -pip...]

Tasks: TOP => default => all => macruby => macruby:build => macruby:dylib => rbconfig => miniruby

(See full trace by running task with --trace)

原因は、Lion環境用のXcodeをインストールすると、/usr/include 以下のヘッダには

#define MAC_OS_X_VERSION_MAX_ALLOWED 1070

と定義されているので、isysrootを指定してもMacRubyの ビルド時に 10.7 API を使う条件でコンパイルされてしまう。

従って、isysrootは、SDK の切り替えにしか影響しないので、isysrootでは解決にならない。

MacRubyをSnow Leopard環境でビルドすれば良いのだろうが、このためだけに自分のOSをダウングレードするのはイヤだ。

ソースを改変

そこで、無理やりマクロを API として 10.6 までしか使わないように抑え込む。

そのローカルパッチを当てたものが、こちら。

 It can be built macruby for 10.6 on Lion(10.7) enviroment with 10.6 SDK. ·  c7963b4 · kiyoka/MacRuby · GitHub

Xcodeでのデプロイ設定も変更が必要

問題はまだある。

Xcode 4.5.2 for Lion上で Base SDKを10.6 に設定してアプリケーションをデプロイしようすると次のリンクエラーが出る。

 Undefined symbols for architecture x86_64:

  "_objc_retain", referenced from:

     ___ARCLite__load in libarclite_macosx.a(arclite.o)

     (maybe you meant: _objc_retainedObject)

 ld: symbol(s) not found for architecture x86_64

 clang: error: linker command failed with exit code 1 (use -v to see invocation)

XcodeのデフォルトではLion用のObjective-C Runtimeをリンクしようするが、10.6 SDKには無いらしくエラーとなる。

SDK 10.6を使う場合は、ARCのライブラリはいらないはずなので、Implicitly link Objective-C Rumtie YES => NO に変更してデプロイする。

 objective c - _objc_retain", referenced from:__ARCLite__load error in Xcode 4.4 - Stack Overflow

これでMacRubyのアプリケーションはデプロイ可能となる。

Sharon
This infomratoin is off the hizool!

comment please => kiyoka.2013_01_28

kiyoka.2013_01_21[iDVD] 備忘録:スライドショーに複数のビデオを入れる方法

iDVDでホームビデオをiDVDで作っているが、久しぶりにiDVDをさわると、どうやっても思いだせない操作がある。いつも10分ほど探しまわる。

DVDプレイヤーにDVDを入れたらいきなり再生する部分のことをiDVDではスライドショーと呼ばれている。

スライドショーに複数のムービーを入れるには、スライドショーアイコンをダブルクリックする。

そうすると、スライドショーに入ったムービーのリストが出てくる。

でもなかった…

ここからが難しいところ。

スライドショーアイコンに１つのムービーを入れると、中をリスト形式でするためにダブルクリックすると、そのスライドショーが再生されてしまう。

二個以上のムービーを入れると、再生されずにリスト形式で表示される。

つまり、スライドショーに入っているムービーの数によって、ダブルクリックの挙動が変わってしまうわけだ。

これは、メモしとかないと絶対に次には操作できなくなっているはずだ。

というわけで、今回もこの操作にたどりつくまで20分ほど使ってしまった…

comment please => kiyoka.2013_01_21

kiyoka.2013_01_18[MacRuby] コマンドラインRubyスクリプトをPasteHub.appにデプロイしてみた

PasteHub.netというクリップボード同期サービス用にMacRubyとXcodeを使ってMacOS X用のクライアントアプリケーションを作っている。 kiyoka/pastehub · GitHub

PasteHub.appというMacOS Xで起動する普通のUIアプリケーションがとりえあず開発できた。しかし問題が…

問題点

PasteHubクライアントにはpastehubPostとpastehubDumpというコマンドライン起動するスクリプトがある。

これらのスクリプトはEmacsなどの外部アプリとの連携用だ。

Emacsからクライアントから新規のペーストデータをPostしたりローカルの同期済みデータベース(gdbm)を参照する時に使う。

問題はそれが含まれないこと。

※ MacRubyのバージョンは本エントリ執筆時期なので、MacRuby 0.13 の開発版での話。

問題1

gemに含まれるbinディレクトリの中身はdeployされない。(Xcodeからのgemのデプロイはmacruby_deployのオプションで制御する)

 参考

  Embedding MacRuby in your application · MacRuby/MacRuby Wiki · GitHub

 #(img http://a248.e.akamai.net/camo.github.com/17c3b48661abd0e58f979b0237319f7a4c67982f/687474703a2f2f776174736f6e313937382e6769746875622e636f6d2f4d6163527562792d446f4a6f2f696d616765732f656e2f696e74726f2d6465706c6f796d656e742f6465706c6f796d656e745f6f7074696f6e2e706e67)

問題2

macruby本体はdeployされない。

macruby本体はdeployされないので、コマンドライン起動スクリプトを処理できない。

実験1: 手でmacruby本体とスクリプトをコピーしてみる。

Dropboxのtenmpフォルダ内で作業した。

$ cd /Users/kiyoka/Dropbox/temp/

$ ls -al | grep -i pastehub.app

drwxr-xr-x   3 kiyoka         staff          102  1 18 23:00 PasteHub.app

試しにmacrubyをコピー

$ find /Library -name macruby | grep bin

/Library/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby

$ find ./PasteHub.app -name usr

./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr

$ mkdir -p ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin

$ cp /Library/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin

$ ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby --version

MacRuby 0.13 (ruby 1.9.2) [universal-darwin11.2, x86_64]

動いた！

試しにpastehubDumpをコピー

$ cp /Users/kiyoka/work/github/pastehub/bin/pastehubDump ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin

$ ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby -I  ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/lib/ruby/site_ruby/1.9.2 ./PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/pastehubDump 

clientDump [command] [arg]

  1) clientDump  list

  2) clientDump slist

  3) clientDump get  key

  4) clientDump top

  5) clientDump latest

動いた！

どうやらファイルは足りているらしい。

実験2: PasteHub.appをアプリケーションフォルダにドラッグしてみる。

ここに入るようだ。

 /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby

フルパスで実行してみる。

$ /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby -I  /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/lib/ruby/site_ruby/1.9.2 /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/pastehubDump 

clientDump [command] [arg]

  1) clientDump  list

  2) clientDump slist

  3) clientDump get  key

  4) clientDump top

  5) clientDump latest

$ /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/macruby -I  /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/lib/ruby/site_ruby/1.9.2 /Applications/PasteHub.app/Contents/Frameworks/MacRuby.framework/Versions/0.13/usr/bin/pastehubDump  list

1358516202=2013-01-18.13:36:42=07d9393429f2447c1004e00ee528d93ad10438f0

1358516169=2013-01-18.13:36:09=98cd22944898489579a9aa7d537c6b82e768bd06

1358515920=2013-01-18.13:31:59=187d2122d1013dbd3124166289ffd92e5aa511e7

1358515901=2013-01-18.13:31:41=d25de6b859b209e96657f5179e4ad942c22e23fb

1358515899=2013-01-18.13:31:38=4219c8d13df8bc8654e6de8806e00a36260b82e2

動いた！ gdbmで保存しているデータを開くこともできている。

ということは、このパスを外部アプリから調べて同じコマンドラインを実行すれば良い。

なんとか解決しそうだ。

追記: いやまてよ…  MacRubyをインストールした環境でしたうまく動かないという可能性があるな… MacRubyを消して動かしてみないと…

Omosalewa
Now we know who the sneslibe one is here. Great post!

Ivan
That's a posting full of ingisht!

mfxxrlr
Fzfd54 , [url=http://moizexxnbpuf.com/]moizexxnbpuf[/url], [link=http://ugsiccqhcdvg.com/]ugsiccqhcdvg[/link], http://quouxxeuveep.com/

comment please => kiyoka.2013_01_18

kiyoka.2012_10_31[本] BOOKSCAN(ブックスキャン)で本をスキャンしてもらった

スキャンが完了した本はこんな感じで本棚に半年置いてくれる。

1ヶ月約1万円で50冊までスキャンしてくれるプレミアム会員になった。1ヶ月だけだけど。

それにしてもマニアックな本ばっかりあるなぁ。

ここには約30冊ある。OCRオプションを付けているが、どれくらいのサイズになるかが気になる。

これからサイズを計算してみる予定。

KindleのPersonal Documentスペースには何冊入る計算なのかがポイントだな。

comment please => kiyoka.2012_10_31