こんにちは、ダンシングポノ制作のニーダです。

生成AIというと、少し前までは「文章を入力して質問すると、文章で答えてくれるもの」というイメージでした。

ところが最近は、AIに渡せるものがどんどん増えています。

写真を見せて「これは何？」と聞いたり、PDFを渡して内容をまとめてもらったり。

では、さらに進んで、

「映像をそのまま渡したら、何が起きているのか分かるの？」

「録音した音声ファイルを渡したら、何を話しているのか聞き取れるの？」

という疑問が出てきます。

今回、特に音声ファイルについて実際にChatGPTで試してみたところ、想像以上に便利で驚きました。

画像をAIに「見せる」は、もう普通になってきた

最近は僕自身も、ChatGPTに画像を見せて質問することが増えました。

例えば、

「これ何？」

「この機械、どういう状態？」

「この画面に出ているエラーは何？」

といった感じです。

面白いのは、単に画像の中に書かれている文字を読み取るだけではなく、写っている物や画面の構成、周囲の状況なども含めて回答してくれること。

つまり、

文章で説明してAIに伝える

だけでなく、

「これを見て！」と画像そのものを渡す

という使い方ができるようになっています。

では、動画も「見て」理解できる？

写真の次に気になるのが動画です。

写真は一瞬を切り取ったものですが、動画には時間の流れがあります。

例えばサルサの動画なら、

「最初にどちらの足を出したのか」

「そこから相手をどうリードしたのか」

「どのタイミングでターンしたのか」

など、前後の動きが重要です。

AIが動画を理解するには、一枚一枚の映像を見るだけではなく、

「誰が、何をして、その後どうなったのか」

まで追う必要があります。

現在は動画を扱えるAIサービスも増えてきていますが、利用する機能や環境によって、扱える動画形式や解析方法などには違いがあります。

ですから現時点では、

「ChatGPTにどんな動画でも放り込めば、全部完璧に理解してくれる」

というわけではありません。

ただ、AIが静止画だけではなく「時間のある情報」を扱う方向へ進んでいることは、とても興味深いところです。

今回びっくりしたのは「音声ファイル」

今回、僕が特に驚いたのはこちらです。

英語の勉強をしていて、「忍者の九字印」について英語で説明している音声を聞いていました。

ただ、当然ながら英語なので、聞き取れないところがあります。

そこでiPhoneの「ボイスメモ」で録音し、その音声ファイルをそのままChatGPTに添付してみました。

そして、

「この音声を30秒ずつ区切って、英語を書き起こしてください」

とお願いしてみました。

すると、音声の内容を英語として書き起こし、さらに日本語訳や聞き取りにくい部分の発音まで説明してくれました。

これにはかなりびっくり。

「えっ、音声ファイルをそのまま渡して、ここまでできるの？」

という感じでした。

英語学習との相性がかなり良い

特に便利だと思ったのが英語学習です。

これまでリスニングで聞き取れない部分があると、

「たぶんこう言っていると思うんだけど……」

と、自分が聞こえた音を無理やり文字にして質問していました。

当然、最初の聞き取り自体が間違っていたら、質問もズレてしまいます。

ところが音声ファイルそのものを渡せるなら、

「ここ、何と言ってる？」

で済みます。

さらに、

「なぜ僕にはこう聞こえたの？」

「この2つの単語はつながって発音されている？」

「この英文はどういう意味？」

「この発音を聞き取るには、どこを意識したらいい？」

と、そのまま質問を続けられます。

これは英語学習のやり方がかなり変わるかもしれません。

「文字起こし」で終わらないのが面白い

さらに面白いのは、単純な音声認識だけではないところです。

従来の音声認識なら、

音声 → 文字

にするところが主な目的でした。

ところが生成AIと組み合わせることで、

音声 → 文字 → 内容を理解 → 質問する → さらに調べる

という流れができます。

今回の音声には『NARUTO』についての話も出てきました。

そこで僕が、

「NARUTOに本当に九字印の描写があるの？」

と質問すると、今度は音声の文字起こしとは別に、その内容について調べることができます。

これって、人間が勉強するときの流れにかなり近いですよね。

何かを聞く。

↓

意味を理解する。

↓

疑問が生まれる。

↓

調べる。

↓

さらに理解する。

この一連の流れを、一つの会話の中でAIと一緒に進められるわけです。

音声認識の技術自体は以前からあった

もちろん、AIによる音声認識そのものが突然登場したわけではありません。

OpenAIは以前から「Whisper」という音声認識技術を開発しており、2023年にはAPIも公開されています。

その後、音声を扱う機能がさまざまな形でAIサービスに組み込まれてきました。

現在のChatGPTにも、音声入力や録音内容を扱うための機能があります。

ただし、利用している端末やアプリ、アカウント、提供されている機能によって、対応状況が異なる場合があります。

音声・動画ファイルなら何でも、どの環境でも同じように解析できる、と考えない方がよさそうです。

もちろん100％正確ではない

今回かなり精度が高くて驚きましたが、当然ながらAIも聞き間違えます。

例えば、

• 周囲の雑音が大きい
• BGMが入っている
• 複数の人が同時に話している
• 録音状態が悪い
• アクセントや発音に特徴がある
• 人名や地名などの固有名詞が出てくる

といった条件では、間違える可能性があります。

動画についても同じでしょう。

ですから、

「AIがそう言ったから正解」

ではなく、

「AIを使うことで確認や理解がものすごく楽になる」

くらいに考えるのが良いと思います。

「AIに質問する」から「AIに見せる・聞かせる」へ

今回使ってみて、一番大きな変化だと感じたのがここでした。

今まではAIに何かを相談するために、まず人間側が情報を文章に変換する必要がありました。

でもこれからは、

画像なら、

「これ何？」

音声なら、

「これ、何と言ってる？」

動画なら、

「この中で何が起きている？」

と、素材そのものをAIと共有する使い方が増えていきそうです。

人間がAIのためにすべてを文章へ変換するのではなく、

自分が見ているもの、聞いているものを、そのままAIにも渡して一緒に考える。

AIが単なる「チャットする相手」から、

一緒に見て、一緒に聞いて、一緒に考える相手

へ変わり始めているのかもしれません。

何気なくiPhoneのボイスメモをChatGPTに送ってみただけでしたが、今回はAIの進化をかなり実感する体験になりました。

そして、もう一つ思ったことがあります。

僕は仕事でインタビュー動画を撮影し、Premiere Proで字幕を作成することがあります。

今回の英語音声の認識精度を見ていると、

「もしかして、インタビュー動画の字幕作成にもChatGPTを活用できるのでは？」

という新しい疑問が出てきました。

1時間ほどあるインタビュー動画の文字起こし、字幕作成、誤字の修正、話の内容の整理までAIと一緒にできたら、編集作業はかなり変わるかもしれません。

これは今度、実際の仕事でも試してみたいと思います。

また一つ、AIで実験してみたいことが増えました。

       

この記事を書いた人｜ニーダ

Dancing Pono(ダンシングポノ)の運営者。1998年にサルサに出会うのをきっかけにラテンのペアダンスを日本に拡めるよう活動中。ダンススタジオ運営やイベント企画・運用のかたわら、AIやweb・アプリ開発、動画編集、ラテンDJ、バーテンダーと多岐に渡る活動中。

2021年1月末にくも膜下出血で倒れるも奇跡的に後遺症もなく復帰。現在は人生のボーナスステージとして過ごしています。リハビリとしてはじめた太極拳、ロードバイクを趣味としています。太極拳では近所のおじいちゃん、おばあちゃんと健康のための太極拳、ロードバイクでは「極力体力を使わないでどこまで行けるか」の実験で、東京(荒川河口)-新潟（柏崎）を22時間などやったりしてます。