AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

時間：2021-10-14 17:06:32

關鍵字：代碼編寫 AI

手機看文章

掃描二維碼
隨時隨地手機看文章

[導讀]編譯|禾木木出品|?AI科技大本營（ID:rgznai100）即使是幫助開發(fā)人員編寫軟件的工具也會產(chǎn)生類似的bug。目前，大部分的軟件開發(fā)人員會讓AI幫助開發(fā)者們編寫代碼，但是開發(fā)人員發(fā)現(xiàn)AI會像程序員的代碼一樣還是存有bug。去年6月，提供托管和代碼協(xié)作工具的微軟子公司GitH...

編譯 | 禾木木

出品 | AI科技大本營（ID:rgznai100）

即使是幫助開發(fā)人員編寫軟件的工具也會產(chǎn)生類似的bug。

目前，大部分的軟件開發(fā)人員會讓 AI 幫助開發(fā)者們編寫代碼，但是開發(fā)人員發(fā)現(xiàn) AI 會像程序員的代碼一樣還是存有 bug。去年 6 月，提供托管和代碼協(xié)作工具的微軟子公司 GitHub 發(fā)布了一個測試版的程序，該程序使用人工智能來幫助程序員。開始輸入命令、數(shù)據(jù)庫查詢或對 API 的請求，Copilot 的程序將猜測您的意圖并編寫其余部分。注冊測試 Copilot 的生物技術公司的數(shù)據(jù)科學家Alex Naka 表示，該程序非常有用，并且改變了他的工作方式。“它讓我花更少的時間跳轉到瀏覽器來查找 API 文檔或 Stack Overflow 上的示例，”他說?！案杏X有點像我的工作已經(jīng)從代碼生成器轉變?yōu)榇a鑒別器?！?/span>但是 Naka 發(fā)現(xiàn)錯誤會以不同的方式滲透到他的代碼中。“有時我在接受其中一項建議時會遺漏某種微妙的錯誤，”他說。“而且很難追蹤到這一點，也許是因為它所犯的錯誤似乎與我所犯的錯誤不同?！?/span>
AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

AI 生成的代碼錯誤可能更高

AI 生成錯誤代碼的風險可能高得驚人。紐約大學的研究人員最近分析了 Copilot 生成的代碼，發(fā)現(xiàn)對于某些安全性至關重要的任務，該代碼大約有 40% 的時間包含安全漏洞。參與分析的紐約大學教授 Brendan Dolan-Gavitt 說，這個數(shù)字“比我預期的要高一點”。“但 Copilot 的訓練方式實際上并不是為了編寫正確的代碼——它只是根據(jù)給定的提示生成那種文本。”盡管存在這些缺陷，Copilot 和類似的人工智能工具可能預示著軟件開發(fā)人員編寫代碼的方式將發(fā)生翻天覆地的變化。人們越來越有興趣使用人工智能來幫助自動化更平凡的工作。但 Copilot 也強調(diào)了當今人工智能技術的一些缺陷。
AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

AI 編碼工具

在分析 Copilot 插件可用的代碼時，Dolan-Gavitt 發(fā)現(xiàn)它包含一個受限短語列表。這些顯然是為了防止系統(tǒng)脫口而出冒犯性信息或復制其他人編寫的知名代碼。GitHub 研究副總裁兼 Copilot 開發(fā)人員之一 Oege de Moor 表示，安全性從一開始就是一個問題。他表示，紐約大學研究人員引用的有缺陷代碼的百分比僅與更可能存在安全缺陷的代碼子集相關。De Moor 發(fā)明了 CodeQL，這是紐約大學研究人員使用的一種工具，可以自動識別代碼中的錯誤。他說 GitHub 建議開發(fā)人員將 Copilot 與 CodeQL 一起使用，以確保他們的工作安全。GitHub 程序建立在 OpenAI 開發(fā)的人工智能模型之上，OpenAI 是一家在機器學習領域從事前沿工作的著名人工智能公司。該模型稱為 Codex，由一個大型人工神經(jīng)網(wǎng)絡組成，經(jīng)過訓練可以預測文本和計算機代碼中的下一個字符。該算法提取了存儲在 GitHub 上的數(shù)十億行代碼用來學習如何編寫代碼，但并非全部都是完美的。OpenAI 在 Codex 之上構建了自己的 AI 編碼工具，可以執(zhí)行一些令人驚嘆的編碼技巧。它可以將類型化指令（例如“創(chuàng)建 1 到 100 之間的隨機變量數(shù)組，然后返回其中最大的一個”）轉換為多種編程語言的工作代碼。同一個 OpenAI 程序的另一個版本，稱為 GPT-3，可以在給定的主題上生成連貫的文本，但它也可以從網(wǎng)絡上學到有攻擊性或有偏見的語言。Copilot 和 Codex 已經(jīng)讓一些開發(fā)人員懷疑 AI 是否可以將它們自動化。事實上，正如 Naka 的經(jīng)驗所示，開發(fā)人員需要相當?shù)募寄懿拍苁褂迷摮绦颍驗樗麄兘?jīng)常必須審查或調(diào)整其建議。 AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？

結語

紐約大學參與 Copilot 代碼分析的博士后研究員 Hammond Pearce 表示，該程序有時會產(chǎn)生有問題的代碼，因為它不能完全理解一段代碼想要做什么?！奥┒赐ǔＪ怯捎谌狈﹂_發(fā)人員需要了解的上下文造成的，”他說。一些開發(fā)人員擔心人工智能已經(jīng)養(yǎng)成了壞習慣。曾嘗試使用 AI 生成代碼但尚未嘗試使用 Copilot 的軟件開發(fā)人員 Maxim Khailo 表示“作為一個行業(yè)，我們一直在努力擺脫復制粘貼解決方案，現(xiàn)在 Copilot 已經(jīng)創(chuàng)建了一個增壓版本。”Khailo 說黑客可能會干擾像 Copilot 這樣的程序?！叭绻沂莻€壞人，我會做的就是在 GitHub 上創(chuàng)建易受攻擊的代碼項目，通過在黑市上購買 GitHub 明星來人為地提高它們的知名度，并希望它成為下一輪訓練的語料庫的一部分。”GitHub 和 OpenAI 都表示，相反，他們的 AI 編碼工具只會變得不那么容易出錯。OpenAI 表示它會手動和使用自動化工具來審查項目和編碼。GitHub 的 De Moor 表示，最近對 Copilot 的更新應該降低了安全漏洞的頻率。但他補充說，他的團隊正在探索其他提高 Copilot 輸出的方法。一種是刪除底層 AI 模型從中學習的不良示例。另一種可能是使用強化學習，在游戲和其他領域產(chǎn)生了一些令人印象深刻的結果的人工智能技術，來自動發(fā)現(xiàn)不良輸出，包括以前看不見的例子?！罢诎l(fā)生巨大的改進，”他說。“幾乎無法想象一年后它會是什么樣子?！?/span> AI?生成的代碼可信嗎？編寫的代碼有?Bug?嗎？