こんにちは、赤堀堂馬です。最近、イラストを3Dに変換するAIサービスが増えてきていますね。3D制作は一般に難しいとされているので、イラストを3D化するというのは非常に魅力的ですよね。 しかし、実際のところどうなのでしょう?そこで、私がChatGPTを使って描いたイラストを、3D化してくれるAIサービスに投入し、どのように変換されるのかを検証してみました。果たして、chatGPTに描かせたイラストはかわいい3Dになるのでしょうか。 chatGPTでミニキャラの赤堀を描いてもらう私のミニキャラをChatGPTで描いてもらいました。使ったのはChatGPT4の有料版です。この実験では、特に指示の明確さやイラストの詳細に重点を置き、よりリアルな3D変換を目指し、以下のような指示を出しました。 「赤茶色のショートボブヘアで黒のメガネをかけ、黒と赤のパーカーを着て、ジーンズと赤のスニーカーを履いている女性のねんどろいどを書いてください。正面を向かせた状態で、背景は白です。」 顔が暗めになったため、指示を調整し、より明るくかわいらしいイラストを目指し、以下のような指示を出しました。 「画像の女性をかわいいねんどろいどにして描いてください。赤茶色のショートボブヘアで薄紫色の瞳、黒のメガネをかけ、黒と赤のパーカーを着て、ジーンズと赤のスニーカーを履いています。正面を向かせた状態で、背景は白です。暗くなるので顔にリアルな陰影はあまりつけないでください。」 非常にかわいいのですが、顔がアップになっている画像が出てきてしまいました。そのため、以下のような指示をしました。 「すごくいいのですが、手は横で、全身図を出してください」 とてもかわいいですが、参考画像と違って分け目がありません。そのため、以下のような指示を出しました。 「かわいい!でも分け目が違うのでもう一度。」 何度か試行錯誤を重ねた結果、以下の画像を切り貼りして合成することにしました。合成した結果がこちらです。とてもかわいいです。これでいきたいと思います。 イラストを3Dにしてくれるサービス紹介と実際にやった感想chatGPTで作ったミニキャラのイラストは、果たしてかわいくなるのでしょうか。chatGPTで作ったミニキャラのイラストを使用して、イラストから3Dにしてくれる3つのAIサービスで比較検証してみました。 MeshyMeshyは、3Dモデル生成からテクスチャまでをカバーするAIツールです。独立した3D生成とテクスチャ生成機能を備えており、これらの組み合わせで多様な3Dモデルを作成できます。 Meshyの機能は以下のとおりです。 Image to 3D:画像から3Dを生成。Text to 3D:テキストから3Dを生成。スタイルを指定できる。AI 3D Texturing :3Dファイルをアップロードすることでテクスチャを生成。プロンプト(テキスト)からの生成とコンセプトアート画像の2つから生成することができる。 実際にchatGPTで作ったミニキャラのイラストでImage to 3Dをやってみました。こんな感じ。 正直、ちょっと不気味ですね。絵が複雑だったからでしょうか。棒人間でやってみました。 こちらはある程度予想していたものができあがっています。めっちゃ目や口が食い込んでます。立体的ですね。下記のリンク先で見ることができます。右クリックをしたまま動かすと360度動かすことができるので、ぜひ見てください。 https://t.co/0Ylh8j2Woy Meshyは会員登録をすると最初に200コインを貰えるので、興味有る方はぜひやってみてください。サイト情報:Meshyhttps://www.meshy.ai/ DreamGaussian DreamGaussianは、高速で1枚の画像から高品質な3Dモデルを生成できるAIツールです。2023年10月に論文発表されたばかりの新しい技術であり、従来に比べて、約10倍も速くなっています。 3DガウススプラッティングやUV空間でのメッシュ抽出手法を使用し、1枚の画像から高品質な3Dモデルを生成します。さらに、テキストからも3Dコンテンツを生成することも可能です。 3Dガウススプラッティング:画像を3D空間に投影する手法UV空間でのメッシュ抽出:画像のテクスチャを3Dモデルに適用する手法 実際にchatGPTで作ったミニキャラのイラストでやってみました。こんな感じ。 ぱっと見た感じすごくいいんですが、ぐるっと回すと何故そこをぼこっとさせたんだとツッコミたくなるような、少しいびつで、荒い部分があります。しかし、たった一枚の画像から数分で生成されたものと考えれば上出来ではないでしょうか。 無料で試せるので興味有る方はぜひやってみてください。サイト情報:DreamGaussianhttps://huggingface.co/spaces/jiawei011/dreamgaussian CSM Show CaseCommon Sense Machines(CSM)は、画像から3Dモデルを生成するサービスであり、詳細なモデリングと高品質なレンダリングが特徴です。 作成されたモデルはCSM Show Caseに公開され誰でも自由にダウンロードできるようになります。ただし、生成する時間が結構かかりました。無料プランがあったので、実際にchatGPTで作ったミニキャラのイラストでやってみました。こんな感じ。 まず、画像をアップロードすると4枚の画像を作ってくれました。これは プレビューモデル時点ではめっちゃおばけみたいであり、不安が残ります。大丈夫なのか?しかし、無料プランでもHD 品質の洗練されたモデルが生成されるらしいので、もうしばらく待ってみます。 これが一番かわいいし、すごくフィギュア感ありますね。すごく、初期の頃のStable Diffusionを彷彿とさせます。 無料プランがあるので、興味有る方はぜひやってみてください。サイト情報:CSM Show Casehttps://3d.csm.ai/ まとめ chatGPTで作ったミニキャラのイラストを3Dにする技術はまだまだすぐに実戦として使えるものではないなというのが私の感想です。初期の3Dプリンターを思い出しました。 しかし、粗削りでも元のchatGPTで作ったミニキャラのイラストの感じが出せているので、もっと技術が進歩すれば、将来は描いたchatGPTで作ったイラストがゲーム内で動く日も来るかもしれません。この技術の進歩によって、AIを活用したクリエイティブな表現の幅が広がりつつあることが期待されます。 AI画像生成も、初期の頃は破綻が酷くて今と違いますが、現在は非常にかわいくて高品質になっています。 なので、イラストから3Dへの変換技術にも大きな可能性があるといえるでしょう。 chatGPTで作ったイラストを3Dモデルにして実際動かしてみたいなぁという方には、VROIDなどのフリーソフトもオススメです。人型であればとてもかわいく作成することができます。 後日、VROIDの使い方についても記事にする予定ですので、ぜひチェックしてみてくださいね。 ご意見や感想があれば、YOUTUBE動画でのコメントやTwitterでのシェアをお願いします。皆さんの反応を楽しみにしています! それでは、次回の記事でお会いしましょう! 赤堀はYOUTUBEチャンネルもやっているので、今回のブログの内容を動画にしてみました。実際使ってみた手順やログイン方法などがわかるので、さらに詳しい内容や実際の使用方法を知りたい方は、私のYouTubeチャンネルで動画をご覧ください。%3Ciframe%20width%3D%22560%22%20height%3D%22315%22%20src%3D%22https%3A%2F%2Fwww.youtube.com%2Fembed%2FlGjWnzl4tPk%3Fsi%3D_e5tmQZYgUMnK1rm%22%20title%3D%22YouTube%20video%20player%22%20frameborder%3D%220%22%20allow%3D%22accelerometer%3B%20autoplay%3B%20clipboard-write%3B%20encrypted-media%3B%20gyroscope%3B%20picture-in-picture%3B%20web-share%22%20allowfullscreen%3D%22%22%3E%3C%2Fiframe%3E