情報工学部 システムマネジメント学科 前原研究室では、AIを用いて画像生成と文章生成を組み合わせ、オリジナルの絵本を作製する研究を行っています。この度、４年生の学生による研究発表の内容が評価され、２つの専門学会において学会賞を受賞しました。
2022年11月22日（日）愛知県名古屋市名古屋大学にて開催
画像関連学会連合会第8回秋季大会
「優秀ポスター賞」受賞
2022年12月22日（木）東京都港区機械振興会館にて開催
日本バーチャルリアリティ学会
第25回サイバースペースと仮想都市研究会シンポジウム
「優秀発表賞」受賞
「AIを用いた絵本の自動生成の試み」
近年、AI は技術革新が進み、多くの産業やサービスで利用されています。その AI の発展を支えているのは、ディープラーニングです。深層学習とも呼ばれており、ニューラルネットワークという仕組みにより計算しています。ファッションデザインや小説文の代筆などのシーンでは画像生成や文章生成にも活用されています。そこで画像生成と文章生成を組み合わせ、オリジナル絵本を作成できないかについて興味を持ちました。絵本に関する先行研究では、対話型デジタル絵本について検討されています。ここでは絵本の生成とユーザによるストーリーの評価を繰り返したり、あらかじめユーザの絵本に対する嗜好をDCNN(Deep Convolutional Neural Network)で学習し、既存絵本から類似度が高い文章や背景画像を選出したりして、ユーザの嗜好に対応した絵本を生成しています。また、ページ上に現れるオブジェクトクラスとその位置をユーザの感性に基づき推測するネットワークを用いた絵本オブジェクトの自動配置手法についても提案されています。これらの研究はユーザの感性を重視している分、ユーザの作業量は決して少なくありません。そこで私たちは従来研究に対し、自動生成を指向した検討を進めることとし、これまでの考察を踏まえた追加検証の結果について報告しました。
実験 4（短）により生成した絵本の例
