Hadoopを使って分散処理をやってみよう!
馬鹿みたいにあつかった今夏ですが、ようやく秋の兆しというかむしろ寒いぐらいです。日本から四季が消えつつあるというのは本当なんでしょうか。さて今回から新しいテーマです。分散計算フレームワークであるHadoopを導入から実践までを連載します。よろしくお願いします。■Googleの技術から生まれたHadoopわたしたちは日常、ごく当たり前にgoogleのサービスを使っています。あそこの店の情報を知りた…
View ArticleMapReduce処理をやってみよう！〜準備編〜
■MapReduce処理の向き不向きさて、前回構築したHadoop環境ですが、それを使ってのMapReduce処理の実装をしてみましょう。が、その前に、どのような処理が向いているのか確認してみたいと思います。MapReduceは計算フレームワークですが、HDFSと組み合わせることにより、特に大規模データの分散処理に有用なものとなります。（小さい入力データについて処理を分散させることも可能です）…
View ArticleMapReduce処理をやってみよう! 〜実践編〜
■注意前回までに構築したhadoop0.21ですが、dfsコマンドに不具合があり、現在対応中0.22でフィックスされるということです。今回からの連載では環境を0.20に戻して行っています。ご了承ください。0.20にする手順。・0.20をダウンロード、展開・hadoopを0.20にリンク・0.21で作成したconf/* をコピー。・各サーバの/usr/local/hdfs/*を削除・hadoop nam…
View ArticleMapReduce処理をやってみよう! 〜実践編 (2) 〜
■JAVA以外でMapReduceする前回はJAVAのネイティブプログラミングでMapReduceを実践してみましたが、今回は、もっと手軽な方法を試してみたいと思います。hadoopに付属しているstreamingユーティリティ(以下ストリーミング)を使うという方法です。ストリーミングを使用することでMap, Reduce処理は独立したプログラムで記述することができます。それぞれの処理の入出力は標準…
View ArticleHadoopまとめ
■まとめHadoopはGoogleのGFSおよびMapreduceのオープンソースクローンとして誕生しました。インターネットコンテンツが、誰でもいつでもアクセスできるようになり利便性が上がる一方で、過去の資産も含めるとその情報量は今や膨大なものとなっています。そのような一方向に増え続けるデータへの対抗手段がGoogleの技術であり、Hadoopであります。前回まで5回にわたってhadoopの概要、…
View Articleおまけ編〜Jadoop作ってみました〜
MapReduceは強力なバッチ処理を行う分散システムですが、サーバクライアントも専用のソフトウェアが必要となります。だからこそ、高効率な環境が構築できるという利点もありますが、入出力がキーとバリューであるという点に着目した場合、同じような動作をするシステムがウェブ上で作れるのではないか？と思いました。現在は様々なシステムがウェブサービスとして展開されており、あらゆるサービスを受けることができます…
View ArticleEmiriパパ MA6受賞独占インタビュー
Mashup Awardsってみなさんご存じでしょうか？Mashup Awardsはリクルートをはじめとする数々のリーディング企業、協力企業によって開催されているプログラミング祭りです。 リーディング企業、協賛企業から提供される様々なAPIを組み合わせて（マッシュアップ）、新たなサービスを構築してみよう！というのがその趣旨となっています。今年で6回目ということでそれなりに歴史も感じられる賞になって…
View Articleマッシュアップ開発のススメ
新年あけました！今年もよろしくお願いします。ペコリ。今回から新しいテーマ、マッシュアップ開発をとりあげます。 前回のMA6最優秀賞のインタビューもありましたが、今日のアプリ開発ではマッシュアップは切っても切れない関係にあると思っています。何かのアプリを開発しようとしたときに、位置情報はGoogle MapsやYahoo! Mapを使おう、と思うのは自然ですよね。そういう意味では、マッシュアップとい…
View Articleマッシュアップ開発のススメ (2)
どんなアプリを作るか？実際の開発ですが、マッシュアップの醍醐味である、新たなサービスというモノを意識してみたいと思います。たとえば、施設検索と地図というのは非常に親和性が高いですが、ちょっと今更感がありますね。そんなときに思いついたのが、テレビとのマッシュアップです。…
View Articleマッシュアップ開発のススメ (3) バックエンドのシステム構成
■システム構築さて、本開発のシステムはいくつかの構成に分かれます。それぞれのシステム間をAPIで結ぶことでマッシュアップが完成するわけですが、それぞれのシステムについて説明をしたいと思います。■システム全体の概要バックエンド1.動画関連システム・テレビ録画・動画フォーマット変換・動画サムネイル切り出し・実況データヒストグラムからダイジェスト版作成…
View Articleマッシュアップ開発のススメ (4) PC版フロントエンド
■ フロントエンドの構成PC版フロントエンドはブラウザを使用します。そうすることで様々なOSや環境に依存せずにより汎用性の高いシステムが作ることができます。前回あげた機能を盛り込みますが、2画面のシンプルな構成で行きたいと思います。■ 動画選択画面まず最初の画面ですが、ここでは録画したテレビ番組一覧が参照できる画面となります。この画面では…
View Articleマッシュアップ開発のススメ (5) PC版フロントエンド
■ フロントエンドの構成前回に続いて今回もPCのフロントエンドの説明となります。今回はこのアプリのメインコンテンツである、コメント表示機能について説明します。■ コメント表示機能についてコメントの表示形式は、いろいろなパターンが考えられます。・縦スクロール・横スクロール・ランダムなどなど。今回のアプリの狙い所は実用的なものではなく、楽しいか楽しくないかというのがポイントです。実際に動作させた場合にどのよ…
View Articleマッシュアップ開発のススメ (6) PC版フロントエンド
■ フロントエンドの構成前回 に続いて今回もPCのフロントエンドの説明となります。今回はグラフ表示機能の説明です。■ グラフ表示機能についてグラフの横軸は時系列となり、これは動画再生時間全体となります。グラフの縦軸は時系列に対するポストされたコメントの頻度を表します。つまり、縦軸に高いほど、多くのコメントがその時間帯にポストされたことを意味し、そこがその動画のスイートスポットである、というわけです…
View Articleマッシュアップ開発のススメ (7) モバイル版アプリケーションを作ろう
■ モバイル？といっても。。さて今回からモバイル版の開発に入ります。モバイルと一言で言ってますが、現在のメジャーなところでは以下のようなプラットフォームがあります。･iPhone･Android･Windows Mobile･Windows Phone･BlackBerryこの中で日本でも普通に流通しているのは、iPhoneと Android。ぎりぎりWindows...
View Articleマッシュアップ開発のススメ (8) モバイル版アプリケーションを作ろう
■ モバイル版アプリの作成今回からTitanium Mobile(以下Titanium)を使ってのモバイルアプリの構築を行っていきます。 前回環境構築手順をご紹介しましたが、その前後にAptanaというeclipseベースの開発環境に統合されたTitanium...
View Articleマッシュアップ開発のススメ (9) モバイル版アプリケーションを作ろう
■ モバイル版アプリの作成前回作成したテーブルビューは起動時にデータを取得し、そのデータを表示するだけでしたが、今回はテーブルビューの表示を動的に更新して切れ目なくリストが見られるようにします。動的な更新こういう動きを実装したい。。でもまだコツがつかめない。こんな時はキッチンシンクです。キッチンシンクはiphoneアプリやandroidアプリの基本的な動作をTitaniumで実装したサンプル集です。…
View Articleマッシュアップ開発のススメ (10) モバイル版アプリケーションを作ろう
■ モバイル版アプリの作成今回はリストから動画を選択した後の動画の詳細ページと、グラフ表示機能の実装を見てみましょう。■ どんな画面？動画のリストから動画の詳細ページに遷移しますが、以下のようなレイアウトで作成してみたいと思います。■ 画面レイアウトの構築基本的にビューを定義し、そのビューに部品をアドしていくのがTitaniumの画面作成の方法です。それでは上記画面をどのように構築するかをご紹介します。…
View Articleマッシュアップ開発のススメ (11) モバイル版アプリケーションを作ろう
■モバイル版アプリの作成今回は、マッシュアップというテーマでの最終回となります。肝心カナメの動画再生画面の作成と動画上にコメントを流してみましょう。■動画再生の方法動画は2つのパスから再生させることになります。 1つは常に最初からの再生で、2つめはグラフのサムネイルからの途中からの再生です。■画面レイアウトの構築動画再生画面に関しては画面レイアウトを構築する部分はほとんどありません。ナビバーの左上にクロ…
View Article最終回のご挨拶
約1年にわたって連載をしてきましたが、今回で私の担当した連載が最終回となります。サービスの基本となるデータベースからマッシュアップ開発、モバイル開発といった幅広いテーマで書かせていただきました。振り返って思うのは、インターネット技術の整備から、ソーシャルサイトの台頭、かつてはエンジニアにとって特権であった技術が広く多くの人にとって身近で当たり前の時代になったという感が強いです。最後ですので、エンジ…
View Article
