讓名人幫你報新聞 - 生成式 AI 的應用

施威銘研究室
7 min readJun 21, 2023

--

AI 繪圖工具可以畫出許多栩栩如生的圖像,不過在這個影音串流盛行的時代 , 單純的靜態圖像顯然不夠看了。目前有許多軟體可以幫助我們將靜態圖像添加動態效果 , 讓平面人物煥然一新, 也可以讓歷史人物重啟!

一、怎麼生成圖像

建議可使用 Stable Diffusion 或是 Leonardo.ai 平台,或者小編最近很愛用的 Run Diffusion 也可以。

1. 先示範 Stable Diffusion,請開啟以下網址: https://github.com/camenduru/stable-diffusion-webui-colab

2. 選擇模型版本,這邊建議可使用chillout_mix或realistic 模型

|建議可以用Ctrl+F直接搜尋需要的模型以節省時間。

3. 等待程式運算並執行,通常要等待十分鐘以上。而運行完成後,通常會出現三個網址,點選任一網址即可。

補充:Run diffusion 是以 Stable Diffusion 模型為基礎的繪圖平台,操作步驟跟介面都跟上述步驟差不多,不過速度快很多。Run diffusion 是採用計時的方式收費,因此操作要節省時間,當生成圖片完畢,發現要修改一些Prompt的細節時,建議先暫停計時,等修改好Prompt後再開始計時。Run diffusion 有好幾種模型可以選擇,小編試用了 SM — InvokeAI,生成的圖片就可以明顯感受到風格不同於之前生成的圖片。

二、用 ChatGPT 來生成主播的 Prompt

AI 繪圖需要有好的 Prompt 才能生成你要的圖像, 這裡我們取巧一下, 讓 ChatGPT 幫我們擬好適當的 Prompt。

  1. 將下列語句輸入至 ChatGPT 的對話框中。

你現在是一個Prompt生成的AI。我將在之後的對話框中輸入Concept, 然後你會將Concept轉換為可供「圖像生成AI」使用的Prompt和Negative Prompt。使用括號 ( ) 可以增加關鍵詞的權重為1.1倍, 而使用方括號 [ ] 則會減少權重為0.91倍。 以下是範例:

Concept: 專業的女性主播

Prompt: (masterpiece:1. 0), (best quality:1. 4), (ultra highres:1. 2), (photorealistic:1. 4), (8k, RAW photo:1. 2), (soft focus:1. 4), 1 woman, posh,
(sharp focus:1. 4), (korean:1. 2), (american:1. 1), detailed beautiful face,
black hair, (detailed blazer:1. 4), tie, beautiful white shiny skin, smiling

Negative Prompt: illustration, 3d, sepia, painting, cartoons, sketch,
(worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy,
bad hands, normal quality, ( (monochrome) ), ( (grayscale:1.2) ), newhalf,
collapsed eyeshadow, multiple eyebrows, pink hair, analog, analogphoto

如果你了解了, 請等待我輸入Concept。

2. 等待Chat GPT回覆完成後,即可輸入我們想要的人物(concept)。

|此處小編想找屈原來播報新聞,所以我輸入的指令為「中國古典黑白素描春秋戰國時期男詩人屈原」。

3. 複製或微調你的 Prompt。

|Promt 通常不會一次就搞定, 一定要多試幾次。值得注意的是,輸入concept 時,可以用英文指出特定特徵,Chat GPT給出的Prompt才會比較精準。例如:我輸入”盤髮造型”,但Chat GPT 給的Prompt 卻變成Pán fà hair style,因此,需要自行把Prompt改成top knot hair style(包包頭盤髮造型)。

|此外,輸入concept 時,盡量具體化,直接說明需要什麼特徵。例如:可以精準指出需要goatee(山羊鬍)和flavor saver(下唇下方那一撮鬍子),Chat GPT給出的Prompt就精確許多。會比負面表列的效果好,像 "不要落腮鬍"、"不要八字鬍" 的範圍會太大, 通常結果不會是你要的。

|如果真的有不想出現的特徵, 像上述”不要落腮鬍”,可直接把落腮鬍(Big Beard)加入Negative Prompt。

三、用 Stable Diffusion 創造主播頭像

  1. 將 ChatGPT 生成的 Prompt 複製到 Stable Diffusion 中並分別貼上

2. 在Sampling method 選擇 DPM++2M Karras (此採樣方法較符合真人圖像)

3. 右下角會出現算完的圖,選擇你喜歡的圖片,建議選擇完全正面、臉部無遮擋的圖像,因為 D-ID 在處理側面照時,容易發生臉部歪斜的情形。

不適合的生成範例

|在實際的操作過程中,小編遇到了一些狀況,以下可以供大家參考:

1. 若生成圖片超過3輪後,常會有很多其他非指定元素跑出來。

2. 例如:原本沒有指定髮型,但超過3輪後,開始有禿頭髮型,因此也可以藉此機會檢查與調整Prompt。

3. 請Stable Diffusion 一次生成10張或以上圖片時,常會跑出一些有兩個人的圖片,或原本請他生成中國古代詩人,但生成圖片中的人物,個人認為些許帶有異域風格。

四、用 ChatGPT 擬新聞稿

接著就可以用 ChatGPT 幫你整理新聞稿,這次小編是自己整理好初稿,再請 ChatGPT 修改成比較像是新聞主播的講稿,你也可以利用 ChatGPT 連網外掛,或是 WebChatGPT 之類工具,幫你蒐集最新的新聞內容。

WebChatGPT 的操作介面

五、用 D-ID 讓頭像動起來

1. 進入D-ID官網: https://www.d-id.com/,並登入帳號

2. 登入帳號後,點選Create video

3. 上傳剛剛Stable Diffusion生成的圖像

4. 貼上 ChatGPT 新聞稿並微調,並選擇需要配音的語言以及配音員。而因為配音問題,講稿可以使用錯別字,幫助配合語調

5. 點選Generate,消耗credits後,等待數分鐘,影像即生成完畢。

六、利用其他編輯軟體略作修飾

為了更有新聞播報的感覺,小編利用 Canva 加上一些新聞畫面會有的元素,整體的操作步驟不難,只是要一直切換不同的AI工具來協作,多試幾次就可可以上手,你也可以自己試試看。

以上就分享到這裡,如果對更多的圖像生成技巧有興趣,可以參考旗標科技《AI 繪圖夢工廠:Midjourney、Stable Diffusion、Leonardo.ai × ChatGPT 超應用神技》一書。

--

--

施威銘研究室
施威銘研究室

Written by 施威銘研究室

致力開發AI領域的圖書、創客、教具,希望培養更多的AI人才。整合各種人才,投入創客產品的開發,推廣「實作學習」,希望實踐學以致用的理想。

No responses yet