在DFRobot ESP32 S3相機(jī)上構(gòu)建DIY語音控制GPT系統(tǒng)

曾經(jīng)希望使用DFRobot ESP32-S3 AI相機(jī)創(chuàng)建聲控ChatGPT嗎?這篇博客將指導(dǎo)你完成整個(gè)過程。我們將引導(dǎo)您完成以下步驟：通過內(nèi)置麥克風(fēng)收集用戶命令，將音頻保存為SD卡上的WAV文件，使用Deepgram API將音頻轉(zhuǎn)換為文本，查詢OpenAI的響應(yīng)，并在串行終端中打印答案。

組件要求:

?DFRobot ESP32-S3 AI攝像頭

?MicroSD卡

?USB電纜

?安裝Arduino IDE的計(jì)算機(jī)

ESP32-S3 AI CAM概述：

ESP32-S3 AI CAM是一款基于ESP32-S3芯片的高級攝像頭模塊，專為視頻圖像處理和語音交互而設(shè)計(jì)。它在視頻監(jiān)控、邊緣圖像識(shí)別和語音對話等人工智能項(xiàng)目中表現(xiàn)出色。該模塊具有廣角紅外攝像頭，可全天候監(jiān)控，即使在低光條件下也能確保清晰的圖像。

內(nèi)置麥克風(fēng)和揚(yáng)聲器，支持語音識(shí)別和對話，是智能家居和物聯(lián)網(wǎng)應(yīng)用的理想選擇。此外，它還可以通過Wi-Fi連接到互聯(lián)網(wǎng)，通過云人工智能平臺(tái)實(shí)現(xiàn)圖像分類和自然語言對話等高級任務(wù)。

用Justway的3D打印服務(wù)開啟制造業(yè)的未來!

通過JUSTWAY的頂級3D打印服務(wù)，體驗(yàn)創(chuàng)新和效率的頂峰。無論您是想創(chuàng)建詳細(xì)的原型，功能部件還是定制設(shè)計(jì)，我們都能為您提供幫助。

JUSTWAY的尖端技術(shù)，包括SLA， SLS， DLP， MJF， FDM和SLM，確保每一個(gè)打印的精度和質(zhì)量。從各種材料中選擇，如樹脂，尼龍，金屬等，讓您的視覺栩栩如生。

受益于即時(shí)報(bào)價(jià)，無縫的在線訂單跟蹤，和專業(yè)的后處理服務(wù)。憑借快速的生產(chǎn)和可靠的交付，JUSTWAY是您所有3D打印需求的首選合作伙伴。

但是等等，還有更多!JUSTWAY還提供一系列其他一流的金屬3D打印服務(wù)，以補(bǔ)充您的制造要求：

?數(shù)控加工服務(wù)：高精度銑削，車削，電火花加工(EDM)復(fù)雜的零件。

?鈑金加工服務(wù)：根據(jù)您的規(guī)格定制鈑金零件。

?注塑成型服務(wù)：高品質(zhì)，大批量生產(chǎn)各種材料的零件。

?表面精加工服務(wù)：通過專業(yè)的精加工選擇，提高零件的外觀和耐用性。

通過justway提升您的制造游戲-創(chuàng)新與完美的結(jié)合!

如何在JUSTWAY為您的3D模型下訂單

訂購您的3D模型JUSTWAY是簡單的。首先以可接受的格式準(zhǔn)備您的3D CAD文件。訪問JUSTWAY網(wǎng)站，登錄或創(chuàng)建一個(gè)帳戶，并在“獲取即時(shí)報(bào)價(jià)”部分上傳您的設(shè)計(jì)。

選擇您的制造工藝，定制您的訂單與所需的材料和完成，并收到一個(gè)即時(shí)報(bào)價(jià)。確認(rèn)細(xì)節(jié)，付款，并在線跟蹤您的訂單。

一旦您的訂單被放置，JUSTWAY將確保高質(zhì)量的生產(chǎn)與嚴(yán)格的質(zhì)量控制檢查。期望您的3D模型在指定的交貨期內(nèi)交付。使用JUSTWAY，享受將您的3D模型帶入生活的便利和效率!

項(xiàng)目流程:

我計(jì)劃使用OpenAI或DeepSeek支持創(chuàng)建一個(gè)語音助手，包括向ESP32 S3 AI相機(jī)提出一個(gè)問題。相機(jī)將通過其內(nèi)置的I2S PDM麥克風(fēng)捕捉我們的請求，然后將錄音保存到SD卡上

然后我們可以使用DeepGram將音頻轉(zhuǎn)換為文本，然后我們可以使用OpenRouter來獲得答案。

步驟1：設(shè)置硬件

將MicroSD卡插入ESP32-S3 AI攝像機(jī)。

步驟2：設(shè)置軟件

安裝Arduino IDE：從官方網(wǎng)站下載并安裝最新版本的Arduino IDE。

安裝所需庫：打開Arduino IDE，安裝以下庫：

?SD

?HTTPClient

?WiFiClientSecure

?ArduinoJson

要安裝這些庫，請轉(zhuǎn)到Sketch > Include Library > Manage libraries，搜索每個(gè)庫，然后單擊install

步驟3：收集音頻數(shù)據(jù)

初始化麥克風(fēng)：使用以下代碼初始化內(nèi)置麥克風(fēng)和錄制音頻命令。

下面的草圖可以錄制5秒的音頻，然后它也會(huì)將其保存為。wav文件在SD卡上，它通過內(nèi)置揚(yáng)聲器播放音頻。

步驟4：使用Deepgram API將音頻轉(zhuǎn)換為文本

注冊Deepgram API：登錄Deepgram網(wǎng)站，然后，注冊一個(gè)API密鑰。

發(fā)送音頻文件到Deepgram：使用以下代碼將WAV文件發(fā)送到Deepgram API并將音頻轉(zhuǎn)換為文本。

在這個(gè)代碼部分，您只需要輸入您的音頻文件。它將使用Deepgram將WAV文件轉(zhuǎn)換為文本。

步驟5：查詢OpenAI的響應(yīng)

注冊O(shè)penAI API：訪問OpenRouter網(wǎng)站并注冊一個(gè)API密鑰。

發(fā)送文本到OpenAI：使用以下代碼發(fā)送文本到OpenAI API并打印響應(yīng)。

步驟6：整合一切

最終代碼：將前面的步驟合并到一個(gè)代碼庫中。

最后的輸出:

設(shè)置好所有內(nèi)容后，只需打開串行終端并查找響應(yīng)。

首先，它將連接到網(wǎng)絡(luò)，然后它將錄制5秒的音頻。然后它會(huì)使用deepGram將音頻轉(zhuǎn)換為文本，然后它會(huì)向OpenAI或DeepSeek查詢。

演示:

根據(jù)我的測試，結(jié)果很快就出來了。我的下一個(gè)計(jì)劃是使用ESP32 S3的揚(yáng)聲器將響應(yīng)轉(zhuǎn)換為音頻輸出。

使用案例

?無障礙解決方案：開發(fā)先進(jìn)的人工智能助手，為身體殘疾的個(gè)人提供免提互動(dòng)。

?智能家居自動(dòng)化：通過語音命令控制家用電器，提高便利性

結(jié)論

恭喜你!您已經(jīng)使用OpenAI、DFRobot ESP32-S3 AI Camera和Deepgram API成功構(gòu)建了語音命令ChatGPT。本指南提供了一個(gè)全面的演練，以幫助您創(chuàng)建和定制您的聲控AI助手。編碼快樂!

您可以隨意嘗試并添加更多功能，不要猶豫，分享您的項(xiàng)目和經(jīng)驗(yàn)。如果您有任何問題或需要進(jìn)一步的幫助，請隨時(shí)提出!

本文編譯自hackster.io