Adobe MAX 2016：人間の声を「フォトショする」驚きの機能をAdobeがMAXでデモ(笠原一輝)
続き・詳細・画像をみる
6：
-
-
-
-
-
-
すべての写真を見る
27 枚
Adobe MAX 2016二日目の夜に行われたSNEAKS
──マシーンラーニングの機能を利用して人間の声の特徴を学習し再現する"音声フォトショ"機能VoCo
最大の注目はVoCoと呼ばれる新技術だ。VoCoは人間の声を学習し、それを元に人間の声を再現するという技術だ。これは行ってみればPhotoshopのレタッチ機能を利用して、画像の都合の悪い部分を修正したりということを"フォトショする"というのことの、音声版という機能。都合の悪い部分を削り、テキストで文字を入力すると、コンピュータが学習した声のデータを元にその人の声を再現することができる。デモでは、学習した発生部分はもちろんのこと、学習データには含まれていない部分を再現することができていた。
▲音声のフォトショ機能となるVoCo
▲まずは音声を取り込んで学習させる
▲学習したデータを読み込みテキストデータに変換する
▲今度は逆にテキストデータの方を編集して再生すると音声データをコンピュータが生成する
▲元のデータにはなかったthree timesを入力すると、音声データをコンピュータが生成する
VoCoのデモの様子
具体的には20分ぐらいのサンプルデータ（音声とその正解のテキストデータ）が必要で、例えばAudioBookなどがその最適なデータになるという。学習はAdobeがAdobe MAXで発表した新しいマシーンラーニング/ディープラーニングのプラットフォームとなるAdobe Sensei（アドビセンセイ）のマシーンラーニングを利用して行われ、対象となる人の音声やアクセント、癖などを学習する
Adobeによれば、例えば病気で声を無くした人の音声データがあれば、それを元に声を再現したりということも検討しているという。ただし、政治家が発言してもいないことを発言したかのように利用されるなどの危険性があることも認識しており、そうした課題に関してはプロテクトを行うなどの検討をしていかなければならないとした。なお、現在のデモは英語のみに対応しているが、多国語対応はさほど難しいことではなく、英語以外の言語にも応用可能だと言うことだった。
──VR HMDをしたままで360度VR動画を編集できるCloverVR
CloverVRは、VRビデオの編集を、VRの中で行えるという画期的なツール。言ってみれば、VR版Premiere Proとでも表現すべきツールだ。現在VRを編集する場合、編集者はPremiere Proの画面とVR HMD（ヘッドマウントディスプレイ）を行ったり来たりする。というのも編集を行うPremiere Proは2Dのアプリケーションだが、VR HMD上で再生されるコンテンツは3Dのコンテンツだからだ。従って編集はPCのディスプレイで、出来映えはVR HMDで...となりかなり忙しいことになってしまう。
▲VR HMDをつけた状態での編集機能を実現するCloverVR
▲通常はこうしたPremiere Proなどで編集していると、VR HMDとPCディスプレイを行ったり来たりになる
▲CloverVRはVR HMDをつけたまま編集できる
▲VRの画面の中に編集パネルが表示される
CloverVRのデモ
そこで、CloverVRでは、VR HMDを被ったまま、VRのビデオを編集できるようにする。具体的にはVR HMDに付属するコントローラなどで、各種の動画編集を行い、そのままできた映像をVR HMDで確認することができる。将来的にはこれがあれば、VR動画の編集にはPremiere Proはもう必要されないという時代がくるかもしれない...。
QuickLayoutは、Webサイトなどを作る際に面倒な動画の配置を自動で行う機能。写真をキャンパスに置いていくときに、自動で大きさを調整したりしてくれる。デザイナーは面倒な配置を考えなくても、簡単に写真を置いていくだけでレイアウトできるようになる。
▲QuickLayout
▲画像を置いていくだけで、コンピュータが自動で最適なレイアウトを選択
Stylitはクレヨンや絵の具といった従来の画材を利用して紙に色を塗っていくと、それをデジタル上の3Dモデルに着色や厚み、元の画材のイメージを残しながら再現していく。デジタルではなかなか再現するのが難しいアナログの色味を再現することができる技術として注目に値する。
▲Stylit
▲クレヨンなどで描いた画材のイメージや質感が3Dモデルに適用されていく
▲CGではなかなか出しにくい質感が表現されている
▲アナログなイメージを持つCGが完成
Stylitのデモ
この他、SkyReplace、Wetbrush、InterVector、ConceptCanvas、LoopWelder、ColorChameleon、SyncMasterなどのデモが行われた。
▲SkyReplaceは空の部分だけを他の天気に入れ替えられる技術
絵の具のようなブラシを再現する技術Wetbrush
▲写真からベクターデータを生成して手軽にCG化できるInterVector
▲イメージ検索機能ConceptCanvas
▲動画のループを調整するLoopWelder
▲作成している画像の色合いを一発で調整するColorChameleon
▲音楽と動画を簡単に同期させるSyncMaster
続きを読む
Engadget Japaneseの最新記事を購読しよう
Tags: adobe, adobe max 2016, sneaks
Adobe MAX 201
続き・詳細・画像をみる
運転席で女性の足を３５分間なめ続けるた男（５６）を逮捕
燃えた展示物を作った学生 「LED電球だけの予定だったが、白熱電球の投光器も使った」
林先生「ヒルナンデスで丁字路をT字路読み？アホやん」
【社会】カロリーメイトゼリーにカビ…２７０万個回収へ
この時期、“冷え”のせいで快眠できない人が摂るべき食品はこれだ！
【コワイ】福岡県博多で道路大陥没！住民に避難勧告
陰キャラにしか分からない漫画wwwwww
【艦これ】提督「なあ大淀」 大淀「なんですか？」
子ネコを降参させるシンプルな方法ｗ
俺「おつかれ〜＾＾」バイト後輩♀「どうもお疲れ様です」
【悲報】博多駅前陥没 （※画像あり）
本当に浮気する気も、浮気する時間も全く無い。でも出会い系へのメールはする。この心理が理解できる人いますか？
back ▲ 過去ログ 削除依頼＆連絡先