decadence

個人のメモ帳

2013-01-01から1年間の記事一覧

MeCab, CaboCha で楽々自然言語処理 (Mac + Perl)

これ何 Perl で MeCab や CaboCha を使う際の適当にメモ MeCab に関しては情報が多いが CaboCha はあまり無いので Mac + Perl でしたい方は気持ち参考にして頂けたらと思う特に自然言語処理の研究がメインではないが、文書構造など適度に取得して使いたい分…

AngularJS 所感 (+ Sinatra)

何これ AngularJSで遊んでるメモ 経緯 研究室でJS勉強会が行われている.1週に1回(たまに無い週も)って形で4~5回行われた. 初め数回でChrome拡張作ろう → jQueryのAjax完璧 → プロトタイプ継承完璧!とかしながら,good partsみたいなものを適宜考えながら…

メモ(SQL::Makerでのjoin,JSON::PP::Boolean)

SQL::Makerでのjoin いつも分からない,ってか無理☆だけど一応欲しいSQL SELECT comment.*, evaluation FROM comment LEFT JOIN comment_evaluation ON comment.uid = comment_evaluation.comment_id WHERE question_id = 1 ORDER BY comment.created DESC; …

1人でISUCON2

たのしいISUCON 「ISUCON 夏期講習」のサーバ環境のつくりかた - blog.nomadscafe.jpやらlivedoor Techブログ : 自家製 #isucon2 のつくりかたを参考にAWSに環境構築して1人でイイ感じにしようと試みた上に書いてるAMIは(見つから)無くて,一から作る感じ …

Amon2 project template

Amon2を使う こんな感じで使えば自分にとって使いやすいんじゃなかろうかってメモ Response周り整理したい気がする 何かあれば適宜書き加えてく 基本 PLACK_ENV deployment development (default) test $ENV{PLACK_ENV}で管理されてる環境変数 起動時オプシ…

はてなインターン2013に参加した

コレは何 はてなインターン2013参加レポート的なもの.文字しかない. インターン概要 前半過程 - 講義 後半過程で実際に業務に取り組むにあたり,最低限の知識を習得させようというのが前半過程の目的だ.例年同様の方式であるが,毎年講義内容が変わってお…

run-script-region.el

Emacs の整理を少しした 特にinit-loader入れた分,ファイルを分け分けしたぐらいついでにEmacs Lispを少し勉強しつつ,何か書いてみた run-script-region.el 範囲指定した箇所をコピペってファイル名の拡張子に応じてスクリプトとして実行するもの よくわか…

RSS管理スクリプト

今日も今日とてPerlの練習作成したものは,RSS管理スクリプト Perlはこんな感じのターミナル上で動かす,ちょこちょこっとしたスクリプトを書くのに便利な気がするソースはこちら. 説明 バッバっバッって見れて,パパパッと選べて,シュババババって開ける…

ターミナルでグラフを表示する

Webに掲載されたデータから情報を取得し,ターミナル上でグラフ表示するものを書いた自前のサーバからデータを取得し,jsonを返すAPIを作成 今回はPerlの練習も兼ねてMojolicious - Perl real-time web frameworkを利用ターミナルでグラフを表示させるのに参…

Wikipediaデータインポート

xml2sqlを使ったwikipedia dumpのデータインポート 現時点では大容量のDBデータを準備する - zabbiたんAMIたんが良い感じ 古い情報だとxml2sqlでparseする際に何かしらエラーを吐く事がある page-articlesでも10分程で入力ファイルを生成するtableの作成は,…

ScalaNLPでPageRankを計算する

Scalaでも科学計算が頑張れば出来るかもしれないScalaNLPを使ってPageRankを計算してみる 以前はScalalaって名前だったものnumpyとのチートシートもある ちなみにpython分からないから意味が無い.ひとまず今回は小さいサイズでやってみる. リンク構造は以…

ScalaでNaverまとめ画像スクレイピング

最近はNAVER まとめ[情報をデザインする。キュレーションプラットフォーム]のおかげで,画像閲覧も楽しくなってきました.Scalaでscalax.ioやJsoupを使ってます. Build.scalaも置いたのでsbtでほほいと実行してくださいNaverまとめの特定ページから元の画像…

Slick 1.0.0 documentation 日本語訳

Slick使ってますか?というわけでSlick 1.0.0 Documentationを勝手に翻訳した 問題等指摘された場合には,すぐに消します.SlickはTypesafe社によって開発が行われている,Scalaのためのモダンなデータベースラッパーである. データベースにアクセスしなが…

Mallet Infer-topics

Malletを用いたトピック推論Mallet TopicModeling - krrrr.comの続き 上記で作成した,tutorial.mallet,tutorial.inferencerを用いて,新しい文書のトピックを推論する1からの順序を述べると mallet形式の教師データ作成 トピックモデル構築 tutorial.malle…

Mallet Data Import in Japanese

日本語の文書をmalletのデータ形式にimportする特に,Mecab(cmecab)を用いて名詞のみを対象としたデータのインポートを行った 英語ならば,公式にあるものをそのまま用いれば良いコマンドラインからでは名詞抽出を行うには別途抽出を行ったファイルを作成し…

Mallet TopicModeling

Mallet is MAchine Learning for LanguagE ToolkitMALLETはstatistical NLP, Document Classification, クラスタリング,トピックモデリング,情報抽出,及びその他のテキスト向け機会学習アプリケーションを行うためのJavaツール 特にLDAなどを含めたトピッ…

Mecab dictionary, with cmecab-java

utf-8で動くようなユーザ固有辞書を作成し,cmecab-javaで用いるmakedic.rbは転用 適当な日付表現等抜けたら十分 文字コードが...Macportで入れたMecab 辞書は同じくMacportで入れたipadic-utf8を利用 #!/bin/sh wget http://d.hatena.ne.jp/images/keyword/…

Bag-of-words,LDA事始め

日本語テキストからBag-of-words,コーパスを作成する 特に,UCL MLのBag of Words Data Setと同じ形式を出力https://gist.github.com/krrrr38/5082368LDA写経 + なんちゃってScala 元はこちらhttps://gist.github.com/krrrr38/5082403

Slick in Play2.1

Slickを使ってみたドキュメントとSlick ガイド - tototoshiの日記が参考になった基本的な使い方は上記を参考に.以下の点について軽く SlickをPlayで使う 上記ガイドなどから見つけにくかったSlickに関する適当な事 環境 ・Scala 2.10.0 ・Play 2.1.0-RC2 ・…

さくらVPSを借りた

サーバいろいろいじりたくてvpsを借りた 今までアルバイトや研究室でちょこちょこ触る程度だったから自分の物を持つ事が出来て嬉しい.ここで動いてる.やった事 apache, firewall, ssh, virtual host等の設定(初めての事が多くて楽しかった) Play!動かした(…

最近(?)読んだ本

14章からの実演リファクタリング良かったClean Code アジャイルソフトウェア達人の技作者: Robert C. Martin,花井志生出版社/メーカー: アスキー・メディアワークス発売日: 2009/05/28メディア: 大型本購入: 27人 クリック: 914回この商品を含むブログ (80件…