Monthly Archives: March 2009

週末から今日にかけて、研究室で参加している 日本法令翻訳プロジェクト http://www.kl.i.is.nagoya-u.ac.jp/told/ の関係で香港大学を訪問していました。自分は法律文に統計的自然言語処理を適用する話について研究紹介。 また詳細はあとで書きます。（溜まったメールも返信します。。。）

引き続き、先週鳥取で行われた自然言語処理年次大会(NLP2009)の本会議3日目について書きます。 まずは、個人的に興味のあった発表について。 超大規模ウェブコーパスを用いた分布類似度計算 （京大 柴田さん他） 超大規模ウェブコーパスとして、検索エンジンTSUBAKIの1億ページを使って分布類似度を計算し、類義語を求めました、というお話。 「超大規模」と銘うってある割には、高速化や近似処理などの「超大規模ならでは」の話があまり無かったように思える点は残念である。一点、ふんだんなコーパスサイズを利用して、「コーパスサイズを変えると分布類似度の性能はどう変化するか」が詳細に調査されてて、この研究で扱った1.6G文ほどあれば十分のようだ、という結果である。 個人的な経験としては、分布類似度の計算には、文脈の量も大事だが、それよりも「多様さ」（異なり数）がけっこう利くので、ある程度量を確保したら、それ以上コーパスサイズを増やしても多様性は少ししか（コーパスサイズのlogを下回るペースでしか）増えないので性能が飽和するのだろう。直感的に。 これに関連して、超大規模コーパスから文脈類似度を計算する話としては、 James Gorman and James R. Curran Scaling Distributional Similarity to Large Corpora In Proc. of COLING/ACL 2006 が詳しくてオススメ。ここでは、大規模コーパスからの分布類似度の計算のために、 – RI; Random Indexing – LSH; Locality Sensitive Hashing – VPT; Vantage Point … Continue reading →

先週参加した自然言語処理年次大会(NLP2009)について引き続き書きます。本会議１日目は発表は無し。個人的に面白かった発表を２件ほど紹介します。 Character-based Thai Named Entity Recognition（文字ベースのタイ語固有表現認識） （東工大のWanvarieさんら） 今回の自分の発表が非分かち書き文からの知識獲得に関するものなので、こういう「文字ベース」系の手法にどうしても目が行ってしまう。 日本語と同様に、タイ語も単語分かち書きをしないのはけっこう知られていると思うけど、さらに全て表音文字なので、日本語のひらがなで文が全て書いてあるようなもので、固有名詞抽出などのタスクが大変だという問題がある。 形態素解析器などもあまり整備されていないため、それならば文字nグラムの単位でやってしまえば良いのでは？というお話。 手法としては、まずタイ語固有の前処理（特定の文字は単語の最初には来ない、などなど）をして文字を「疑似形態素」にまとめておいてから、CRFの系列ラベリングでIOB（固有名詞の頭か、内側か、外側か）のラベルを付けていくという手順で、特に目新しいものはない。 興味深かった知見は、これを２段階に分けて、単語境界検出をしてからそれを素性にして固有名詞抽出をすると、単語境界検出に足を引っ張られてかなり性能が落ちてしまうところ。それならば最初から文字nグラムを直接素性にしたほうがいい、という結論で、これは自分の研究のそもそもの動機である「固有表現認識に形態素解析は使えない」に通じるものがある。日本語でも、文字種などのヒューリスティックである程度まとめてから文字nグラム単位で解析したらもう少しうまく行くかもしれない。 専門用語の内部構造解析 (NAIST, 東大の山田さんら) 一日目にしてこんなに面白い研究発表に出会えたのは幸運かもしれない。「問題→解決」のストーリーが分かりやすい素晴らしいプレゼンで、例もふんだんに使ってあって聞いててどんどんとのめり込んだ。今回の大会のオレ的最優秀発表賞。 ここでは医学系の専門用語を扱っていて、たとえば「急性骨髄性白血病」は「（急性）の（骨髄性白血病）」で、「骨髄性白血病」は「（骨髄性）の（白血病）」というように、内部構造（要素とその間の関係）を持つ。この関係をどのように定義してやればいいか？という話なのだけど、例えば「大腿骨折」は「（大腿骨）の（骨折）」というように「骨」が縮退してしまっていてちょっと複雑なのでなかなか一筋縄ではいかない。 そのために、この発表では文字単位で係り受けを定義することによって、縮退や依存関係などを統一的に定義している。 質疑応答の中にもあったけど、自分も「縮退を前処理的に処理しておいて、係り受けはあくまで要素間で定義できないのかな？」とも思った。でもよく考えてみると、文字単位でやったほうがすっきりするし、要素の区切りと依存関係を、同じ枠組みで表現できるので解析器も学習させやすいのは良い。 漢字の文字単位での係り受けの定義・解析って、これだけ聞いていると、これはもはや「中国語の構文解析」の特殊な場合に近いのでは？と思った。実際、中国語には「兼語文」といって、前の文の客語（目的語）と後ろの文の主語が同じ時に一つにまとまっている（＝縮退している）構文がある。中国語の構文解析ではこういう文をどう定義しているのか調べてみると参考になるかもしれない。 ちなみに、自分の研究室では、構文情報付きの法律文コーパスを作っているが、ここでも「法律文中の並列関係や同格関係、括弧書き間の係り受け関係をどのようにして定義するか？」という問題が出てきて、ミーティングで毎回、侃々諤々の議論をしていた。日本の法律文というのは、少なくとも近年においては非常にシステマティックに、高い定型性を持って書かれていて、ここではかなり綺麗に定義できた記憶がある。その結果は去年のNLP2008で発表している（山田将之ら「構文情報付き法律文コーパスの設計と構築」）ので、興味がある方は参照していただきたい。

先週まで、鳥取で開かれた言語処理学会年次大会(NLP2009)に参加していました。自分は、発表２件をひっさげてチュートリアルから本大会まで、とフル出場でした。帰ってきて少し落ち着いたので、取ったメモを元にして少しまとめてみたいと思います。 — チュートリアルの中で自分の興味のあった講演は、 Yahoo!の山下たつをさんの「ウェブサービスを利用した自然言語処理研究」 と NY大関根先生の「自然言語処理のための知識獲得」 の２件。 ウェブサービスを利用した自然言語処理研究 前者は、Web APIを自然言語処理に活用する際のレシピ、と銘打っていて、Yahoo!の提供するWeb APIの紹介と、それを使った自然言語処理のアイデアなどを浅く広く紹介してもらえた感じ。最近流行のライフハック本シリーズに倣って一言でタイトルを付けると「Web API＋NLP Hacks！」という感じになるかな。 Web APIを適用していたタスクには、「関連語検索」「関係抽出」などの語彙知識や固有名詞獲得系のものが多かった。この系のタスクは、関係を取ってくるために、大規模データ中の文脈パターン（一次の共起）や文脈の類似度（二次の共起）、もしくはその両方を使うものが多いので、Web上での統計を求めるためにWeb検索APIは絶好のツールである。 この辺りの話は、「枯れた技術」が中心で、ほとんどがたつをさんのブログに載っているので、それを「Web API＋NLP」という軸でまとめたというところ以外、特にいつもブログを拝読している身としてはどこかで聞いた話は多かった。一方、小粒なテクニックでは面白いアイデアがちょこちょこあって（例えばYahoo!カテゴリを利用した簡易文書分類、など）、ベースラインとして使うにはちょうどよいネタが満載だった。 自然言語処理のための知識獲得 後者は、「知識獲得」と銘打っているが、講演の最初に紹介があったように、ここで言う「知識」とは「モノ・コト・名前とその間の関係」なので、語彙知識獲得とかなりの部分が重複しており、こちらもどこかで聞いた話がほとんどであった。 印象としては、知識発見手法についてこちらも広く浅くまとめてあって、知識獲得系のことを包括的に知るためのポインターとしては有用だと思った。（スライド最後に膨大な参考文献のリストがあって、これだけでも価値がある） この講演で初めて聞いた話でとても面白かったものの一つに、「Amazon Mechanical Turk」がある。これは、オンラインで出来る軽い作業（タスク）を安価に人に頼めるWebサービスで、これを使うとたとえば「この画像によく当てはまる単語を選んでください」とか「この中から反義語を選んでください」みたいなアノテーション（タグ付け）の作業を簡単に外注できる。このサービスを使ったアノテーションについては、EMNLP 2008のRion Snowの論文に詳しいが、多数決を取ったり工夫することで専門家と同等以上の質のアノテーションが実現できるみたいだ。 チュートリアルの説明を聞く限り、アノテーションの外注サービスのような印象を受けたけど、よくよく見てみれば別に外注する作業はアノテーションに限ったものでは無い。簡単に思いつく面白い（実用的な）使い方は「英文添削」で、英語のWebサイトとかを作ってみたら、「このサイト読んで英語の変なところを教えてね！」的な作業を投げてみれば良い。驚くべきはそのコストで、１０文のアノテーションを頼んで2セントとか、そういうレベルらしい。論文とかだと守秘義務の問題とかがあって難しいかもしれないけど、どうせ公開するWebサイトとかなら、専門の業者に頼むのがバカらしくなりそう。 この話を聞いて真っ先に浮かんだのが、前に友人に教えてもらった、IT系のプロジェクトを簡単に外注できる仕事マッチングサービスの「oDesk」。この両者、似ているようでだいぶ方向性が異なっていて、Amazon Mechanical Turkのほうは「人力作業外注サービス」である一方、「oDesk」のほうは「プロジェクト外注マッチングサービス」という感じかな。「oDesk」で英語の先生を激安で雇う、ということもできるし、どちらも使い方次第では可能性が広がる。 総括 久しぶりにチュートリアルなるものに出てみたけど、わざわざ日曜に鳥取入りして出た価値があった。一点だけ残念なのは、「チュートリアル」というからには研究分野に飛び込んだばかりの修士課程の学生が聞いても面白い（もしくは分からない内容については適切なポインターを提示する）内容であるべきだと思っていて、その点でスライドが英語なのはどうかな・・・というところ。英語がネックになって研究が思うように進まない学生はけっこう多いように思う。もちろん、最新のトピックには日本語にできないものが多数あるのがあるのは分かるが、むしろこういう機会に「標準訳」を提示してやるぐらいの勢いがあったらよかった。 その点で、関根先生が最初に Distributional Similarityは、『分布類似度』ではなくてむしろ『文脈類似度』と言うべき という趣旨のことを仰ってたのにははっとした。これは最初の英語の用語がそもそも適切では無い例だが、これまで自分も違和感を持ちながら使っていたので、これからチャンスがあれば「文脈類似度」という言葉のほうをちょっと使ってみたくもなった。