<< 安倍さん嘘はやめましょう | main | 忖度NHK経営委員 >>

すごい音声合成技術

 デジタル技術で美空ひばりに新曲をうたわせるコンサートをNHKが企画し、その模様をNHKスペシャルで放送していました。歌っている姿はCGで作成してホログラムで再現し、歌声はヤマハの技術者がディープラーニングを使って学習させたAIで合成していました。秋元康氏が新曲の作詞とプロデュースを担当して、このコンサート用に語りの入った新曲を用意していました。

 新曲には語りが入っていますが、これまでの歌では語りのデータが少なく、ひばりさんが息子さんのために朗読していたカセットテープを提供してもらってデータとしていました。しゃべっているデータはNHKにたくさんあると思いますが、息子さんへの読み聞かせのための録音を息子さんが保存していたというのもテレビ的には一つの発見だったのかもしれません。

 最初に合成した歌声は美空ひばりさんの声になっていましたが、ファンも秋元康氏も美空ひばりさんのように感動させる歌にはなっていないと言っていました。美空ひばりさんの歌声を専門家が分析して、ひばりさんは特定の歌詞で高周波域の倍音を混ぜて発声していたことが分かり、さらに、ヤマハの技術者がひばりさんは意図的にリズムをずらして歌っていることにも気が付きました。ディープラーニングの結果を新曲の歌声に反映させる際にこれらの特徴が出やすいプログラムに変更して、ひばりさんの感動的な歌を完璧に合成しました。

 コンサートでは招待された観客が感動し涙を流している方もいました。テレビで見ると、映像は「やっぱりCGだな」と思うようなところがありましたが、コンサート会場で離れた位置から見ていたら、本物のように見えたのかもしれません。歌は完璧でした。

at 07:25, kameriki, 雑感

comments(0), trackbacks(0), - -

comment









trackback
url:http://blog.kameriki.info/trackback/1748