creativi.tea

　
　

大電撃文庫展

05/04（土）に池袋で開催されていたので参加してみました。
電撃文庫のラノベは知っているものが「俺の妹」「はたらく魔王さま！」くらいしか知らなくておもしろさ半減になってしまいました。
もっといろいろな作品に触れたいと思うようになりました。
オフィシャルブックとはたらく魔王さま！のクリアファイルを手に入れました。

DVD「モテキ」

2012年3月24日に購入した「モテキ」を久々に見直しました。
　→【イベント】「モテキ」Blu-ray＆DVD発売記念　大根仁監督＆長澤まさみの「モテキ」ここだけの話！　＠タワーレコード渋谷店

以前は長澤まさみばかり見ていたところがありましたがw、今回はもうちょっと冷静に見ることができました。
まあ現実世界ではありえない状況でありますね。

昔の音楽

最近は音楽自体は今の音楽は全く聞かず、昔の音楽は週末ちょっと聞くくらいになっていました。
なぜか無性に聞きたくなってここ数日は毎日夜聞くようになっています。
音楽を聴くと当時の思い出などがよみがえってしんみりしてしまいますね＾＾

ラノベ「なれる!SE」2巻

読み終わりました。
1巻よりもマイルドでラブリーな内容でした。
ブラック感はもうありませんね。普通のSI会社という感じでした。
あとがきで作者のトラウマのような経験をもとにした作品で描きながら当時のトラウマがフラッシュバックされるそうです＾＾




↓この記事が参考になったら拍手、ツイート、いいね、はてブ、いずれかをお願いします。今後のブログ作りに役立てたいので。

関連記事

• 2013/05/04（土）～05/12（日）のインドアの記録（大電撃文庫展、きらら☆マギカ vol.6、モテキ、昔の音楽、なれる!SE2巻） [2013/05/12]
• 2013/04/24（水）～05/03（金）のインドアの記録（ルイージマンション2、PSP俺妹、なれる!SE2巻） [2013/05/03]
• 2013/04/14（日）～23（火）のインドアの記録（俺妹、PSP俺妹、なれる!SE2巻、jQueryデザイン入門） [2013/04/23]
• 2013/03/30（土）～04/13（土）のインドアの記録（俺妹、おにあい、PSP俺妹、ニコニコ動画のMAD） [2013/04/13]
• 2013/03/15（金）～29（金）のインドアの記録（俺妹、おにあい、悠木碧フォトブック あおいのたからばこ、東京国際アニメフェア、NEX-5RL） [2013/03/29]

　
　

3DS「ルイージマンション2」をプレイ

3月に購入したいと思っていたのですがようやく27日に購入できました。
GC版以来12年ぶりでしたが、ああいう操作方法だったんでしたっけ！？
感覚を忘れてしまっていました。
謎解き要素が入っており、考えながら進めています。

PSP「俺の妹がこんなに可愛いわけがない ポータブルが続くわけがない」

相変わらず単調な展開ですね。もっとグッとくる展開はいつになるのでしょうか。

ラノベ「なれる!SE」2巻

人気のネットワークゲームの基盤を支えているのがこの会社という運びになりました。
その中での対立するSE部とOS部の女性の争いが生々しくて面白いです♪



↓この記事が参考になったら拍手、ツイート、いいね、はてブ、いずれかをお願いします。今後のブログ作りに役立てたいので。

関連記事

• 2013/05/04（土）～05/12（日）のインドアの記録（大電撃文庫展、きらら☆マギカ vol.6、モテキ、昔の音楽、なれる!SE2巻） [2013/05/12]
• 2013/04/24（水）～05/03（金）のインドアの記録（ルイージマンション2、PSP俺妹、なれる!SE2巻） [2013/05/03]
• 2013/04/14（日）～23（火）のインドアの記録（俺妹、PSP俺妹、なれる!SE2巻、jQueryデザイン入門） [2013/04/23]
• 2013/03/30（土）～04/13（土）のインドアの記録（俺妹、おにあい、PSP俺妹、ニコニコ動画のMAD） [2013/04/13]
• 2013/03/15（金）～29（金）のインドアの記録（俺妹、おにあい、悠木碧フォトブック あおいのたからばこ、東京国際アニメフェア、NEX-5RL） [2013/03/29]

　
　
言語判定は以前からありましたが、プロフィール情報などから判定しており、それほど精度が高いとは言えませんでした。
また、各ツイートごとでの言語判定はできず、各ユーザごとの判定のみでした。
そのため、ユーザがプロフィール情報で英語にしていた場合、日本語でツイートした場合でも英語として判定されてしまっていました。
このような事情により、てぃーが以前行ったツイッター分析においても日本語のみのツイートを取得するのは難しく、最終的には手作業で選別しました＾＾
　→ツイッター調査：約173万ツイートを調査して分かったTwitterの利用動向 #twtr_hack
　　（スライド15枚目）

ツイッターでの言語の自動判定の精度が高ければ、このような苦労をすることなく必要な言語のツイートを取得できますね！


この言語判定は、まず3月6日（March 6, 2013）にREST APIで実装され、次いで3月26日（March 26, 2013）にStreaming APIに実装されました。
機能の詳細については次の公式ブログに掲載されています。
　→Introducing new metadata for Tweets | Twitter Developers
（この公式ブログでは言語判定に加えて、filter_levelも紹介されています。）

＜該当箇所＞
The new lang attribute specifies the language the Tweet was written in, as identified by Twitter's machine language detection algorithms. The values will be valid BCP 47 language identifiers, and may represent any of the languages listed on Twitter's advanced search page, or "und" if no language could be detected. This field enables consumers of Tweet data, such as analytics services or real-time search streams, to offer language-specific curation, aggregation and analysis of Tweet content.

使用データと判定の検証方法

さて、言語の検証判定に用いたデータと検証方法は次のとおりです。

＜使用データ＞
日時：2013年04月29日（月）00:10:00～00:10:09 の10秒間
方法：Streaming APIのsample（全公開ツイートの約1％）
ツイート数：736 ツイート（日本語161、英語219、他言語358）

＜検証方法＞
・日本語(jp)と英語(en)を対象とする。
・てぃー自身がツイート内容を確認し、言語判定と比較して検証する。
・検証では「正解」「不正解」「どちらでもない」の３種類に分ける。

＜ソースコード＞
　→【Twitter4J】Streaming APIのsampleで各ツイートのlang（言語情報）を取得する方法

日本語・英語以外はてぃーが分からないのでパスです＾＾
検証の「どちらでもない」には記号のみ、特に顔文字のみの場合を含みます。確かに顔文字なら各言語でよく使われるものもあって判定は可能とも言えますが、主観が入ってしまうこともあるので今回は不明としました。

検証結果

判定結果は次の表のようになりました。（上段：ツイート数、下段：割合％）

日本語

	日本語と判定されたもの	日本語と判定されなかったもの
正解	161 100.0%	575 100.0%
不正解	0 0.0%	0 0.0%
どちらでもない	0 0.0%	0 0.0%

英語

	英語と判定されたもの	英語と判定されなかったもの
正解	211 99.5%	516 98.5%
不正解	1 0.5%	8 1.5%
どちらでもない	0 0.0%	0 0.0%

日本語で100.0％、英語で99.5％ととても高い精度です。
特に日本語は完璧ですね！
「どちらでもない」は今回は該当がありませんでした。
一方で英語では不正解があり、英語と判定された場合で0.5％、英語と判定されなかった場合で1.5％と完璧ではなかったですが、かなりの精度です！

ちなみにこれらのツイート内容は次のようなものでした（本文のみ）。

＜英語と判定されたツイート内容＞（1つ、下記※注も参照）
・fOOLY & cOOLY – Them a Fe Get a Beatin' di @petertosh, da #SoundHound

＜英語と判定されなかったツイート内容＞（8つ）
・Come on United! #ArsenalForEuropaLeague
・*Unfollows*
・Was That Malik
・Lmao I had to #repost #regram #purecomedy lol
・thanks ^^
・the ring two>
・Well hello new Follower
・I swear I could eat a dozen donuts

※注　当初、smoove I c u bro lolとlmfaoも該当するとしていましたが、@Scaled_Wurmさんよりlmfaoはlaughing my fucking ass offの略、I c u broはI see you brotherの略とのご指摘があり、除くこととなりました。ありがとうございました。省略表現であっても言語判定ができるというわけですごいですね！

まとめ

日本語に関しては完璧な判定となることはすごいですね。
英語に関してもほぼ完璧と考えてよいでしょう。
もはや特別な言語判定メソッドを考えたりする必要はまずない、としてもよいのではないのでしょうか！！
いろいろ構想が膨らみますね！


↓この記事が参考になったら拍手、ツイート、いいね、はてブ、いずれかをお願いします。今後のブログ作りに役立てたいので。

関連記事

• 新しく追加されたツイートの言語判定の精度が高すぎる！日本語はなんと100％！完璧！　#Twitter4J [2013/04/29]
• 【Twitter4J】Streaming APIのsampleで各ツイートのlang（言語情報）を取得する方法 [2013/04/29]
• ある地点の近傍のツイートの取得方法！setGeoCodeや計算による半径の指定とGeohash（ジオハッシュ）による矩形の指定　#Twitter4J [2012/12/02]
• 【Twitter4J】Twitterの全ユーザーの公開ツイート（日本のみ）を表示する方法（その２、Streaming APIのsample） [2012/05/04]
• 【Twitter4J】Twitterの全ユーザーの公開ツイート（日本のみ）を表示する方法（その１、PublicTimeline） [2012/05/04]

　

import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;


//JSONの取得・分解にはJackson Java JSON-processorを使用
//ダウンロードなどは下記ページ
//http://jackson.codehaus.org/
import com.fasterxml.jackson.core.JsonFactory;
import com.fasterxml.jackson.core.JsonParseException;
import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.core.JsonToken;

import twitter4j.*;
import twitter4j.json.DataObjectFactory;


//Streaming APIのsampleでstatusのlang（言語情報）を取得する
public class status_getLang_sample {

    public static void main(String[] args){

        try{

            //自動的に認証してくれる
            //（バージョン2.2.4以降はgetInstance()ではなくgetSingleton()を推奨）
            new TwitterStreamFactory();
            TwitterStream twitterstream = TwitterStreamFactory.getSingleton();

            twitterstream.addListener(new MyStatusAdapter());
            twitterstream.sample();

        } catch(Exception e){
            e.printStackTrace();
        }
    }
}

//出力する
class MyStatusAdapter extends StatusAdapter {

    public void onStatus(Status status){

        BufferedWriter wr = null;

        //書き出し先のファイルを指定
        String fileName = "○○.txt";
        String outdata;


        try {

            //ユーザの情報を取得
            User user = status.getUser();

            //statusオブジェクトのJSON文字列を取得
            String rawJSON = DataObjectFactory.getRawJSON(status);

            //JSON文字列を分解し必要な情報を取得
            //（statusオブジェクトのlang）
            String status_getLang = null;

            try {
                status_getLang = parseJSON(rawJSON);

            } catch (JsonParseException e) {
                e.printStackTrace();
            }

            //utf-8を指定、追記可能
            wr = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(fileName,true), "utf-8"));

            //ツイートから改行記号を除去（半角スペースに変換）
            String strText = status.getText();
            strText = strText.replaceAll("\r\n"," ");
            strText = strText.replaceAll("\r"," ");
            strText = strText.replaceAll("\n"," ");

            //ツイートからタブ記号を除去（半角スペースに変換）
            strText = strText.replaceAll("\t"," ");


            //書き出し（ツイートの言語設定、ユーザの言語設定、タイムゾーン、位置情報、日時、利用アプリ、ユーザ名、ツイート）
            outdata = status_getLang + "\t" + user.getLang() + "\t"
                    + user.getTimeZone() + "\t" + status.getGeoLocation() + "\t" + status.getCreatedAt() + "\t"
                    + status.getSource() + "\t" +user.getScreenName() + "\t" + strText;

            wr.write(outdata);
            wr.write("\n");

            wr.flush();
            wr.close();

        }catch (IOException e) {
            e.printStackTrace();
        }
    }


    //JSON文字列からオブジェクトに変換する
    private static String parseJSON(String str) throws JsonParseException, IOException {

        JsonFactory factory = new JsonFactory();
        JsonParser jp = factory.createJsonParser(str);

        if(jp.nextToken() == JsonToken.START_OBJECT) {
            while (jp.nextToken() != JsonToken.END_OBJECT) {
                String _name = jp.getCurrentName();
                jp.nextToken();


                if(_name.equals("user")) {
                    jp.skipChildren();
                } else {

                    //言語設定ならば返す
                    if(_name == "lang") {
                        return jp.getText();
                    }
                }
            }
        } else {
            jp.skipChildren();
        }
        return null;
    }
}

↓この記事が参考になったら拍手、ツイート、いいね、はてブ、いずれかをお願いします。今後のブログ作りに役立てたいので。

関連記事

• 新しく追加されたツイートの言語判定の精度が高すぎる！日本語はなんと100％！完璧！　#Twitter4J [2013/04/29]
• 【Twitter4J】Streaming APIのsampleで各ツイートのlang（言語情報）を取得する方法 [2013/04/29]
• ある地点の近傍のツイートの取得方法！setGeoCodeや計算による半径の指定とGeohash（ジオハッシュ）による矩形の指定　#Twitter4J [2012/12/02]
• 【Twitter4J】Twitterの全ユーザーの公開ツイート（日本のみ）を表示する方法（その２、Streaming APIのsample） [2012/05/04]
• 【Twitter4J】Twitterの全ユーザーの公開ツイート（日本のみ）を表示する方法（その１、PublicTimeline） [2012/05/04]