谷歌AI搜索給網(wǎng)站的選擇：要么分享數(shù)據(jù)，要么死

谷歌已經(jīng)在搜索頁面上顯示AI答案，也就是說，搜索用戶不需要前往提供答案的網(wǎng)站，就可以在AI答案中看到網(wǎng)站的內(nèi)容。面對(duì)這一變化，網(wǎng)站只能配合，讓谷歌AI匯總自己的內(nèi)容 ，因?yàn)樗鼈兂惺懿黄鸨还雀璺怄i的代價(jià)。

谷歌工具會(huì)瀏覽網(wǎng)頁內(nèi)容，生成AI答案；之前它會(huì)追蹤網(wǎng)頁，生成搜索結(jié)果，二者本質(zhì)上是一樣的。如果網(wǎng)站不愿意分享內(nèi)容，屏蔽谷歌工具，用戶就很難在網(wǎng)上發(fā)現(xiàn)網(wǎng)站內(nèi)容。

新聞出版商面臨挑戰(zhàn)

在搜索領(lǐng)域，谷歌擁有壟斷地位，這種壟斷轉(zhuǎn)化成了谷歌的AI優(yōu)勢(shì)，搜索創(chuàng)業(yè)公司和出版商多有不滿，它們大呼“不公平”。對(duì)于出版商來說問題可能更嚴(yán)重一些，因?yàn)樗鼈儽黄茸龀鲞x擇：要么向AI模型提供內(nèi)容，AI可能會(huì)將它們的網(wǎng)站淘汰；要么從谷歌搜索中消失。

新聞網(wǎng)站Talking Points Memo的負(fù)責(zé)人Joe Ragazzo說：“出版商面臨外部危機(jī)，無論怎么選擇都是糟糕的。如果選擇退出，你馬上就會(huì)死；與谷歌合作只是死得慢一些，因?yàn)樽罱K谷歌也會(huì)拋棄你?！?

但是，按照谷歌的說法，AI Overviews工具是谷歌長期承諾的一部分，它希望能為出版商及其它企業(yè)提供更有質(zhì)量的信息和更好的發(fā)展機(jī)會(huì)。

一位谷歌新聞發(fā)言人在聲明中表示：“每一天谷歌會(huì)通過WEB向網(wǎng)站提供數(shù)十億的點(diǎn)擊，我們希望谷歌與網(wǎng)站的長期價(jià)值交換可以持續(xù)。通過AI Overviews，用戶會(huì)發(fā)現(xiàn)搜索將變得更實(shí)用，然后用戶就會(huì)持續(xù)回來，搜索更多內(nèi)容，從而讓內(nèi)容被發(fā)現(xiàn)的機(jī)率大大提升。”

生成式AI帶來改變

從谷歌建立那天起，它就用所謂的Googlebot抓取全球網(wǎng)站的內(nèi)容，建立起龐大的信息內(nèi)容庫。正是因?yàn)樗饕拇嬖冢渌髽I(yè)很難挑戰(zhàn)谷歌搜索，即便是財(cái)大氣粗的微軟也無法抗衡。

現(xiàn)在生成式AI帶來了新機(jī)會(huì)，創(chuàng)業(yè)公司可以用AI模型向用戶提供更為簡潔的答案。面對(duì)新變化，谷歌有些恐慌，它擔(dān)心搜索引擎會(huì)被淘汰，而在此之前許多人認(rèn)為搜索引擎不可能出局。如果創(chuàng)業(yè)公司提供的AI可以威脅到谷歌業(yè)務(wù)，那么創(chuàng)業(yè)公司也必然會(huì)從網(wǎng)絡(luò)上抓取內(nèi)容。

當(dāng)網(wǎng)站內(nèi)容被抓取時(shí)，成本由持有內(nèi)容的網(wǎng)站自己承擔(dān)，它們要投入金錢、要提供算力、還要存儲(chǔ)內(nèi)容，所以出版商對(duì)于爬蟲抓取有一套自己的規(guī)定。只有谷歌、必應(yīng)受到優(yōu)待，因?yàn)樗鼈兡芡ㄟ^搜索引擎給網(wǎng)站引流。

AI創(chuàng)業(yè)公司Tako的首席執(zhí)行官Alex Rosenberg說，作為搜索創(chuàng)業(yè)公司，最開始時(shí)它們很弱小，無法為網(wǎng)站帶來流量，所以年輕公司必須與出版商達(dá)成協(xié)議，向它們付費(fèi)獲取內(nèi)容授權(quán)。

Alex Rosenberg稱：“現(xiàn)在有許多科技公司為內(nèi)容付費(fèi)，因?yàn)樗鼈冃枰@取這些內(nèi)容，然后才能真正參與競爭。谷歌不一樣，它沒有必要這樣做?！?

當(dāng)媒體公司與AI創(chuàng)業(yè)公司達(dá)成合作時(shí)，旁觀的谷歌實(shí)際上并不高興。據(jù)知情者稱，谷歌與Reddit達(dá)成了價(jià)值6000萬美元的內(nèi)容合作協(xié)議，但谷歌向出版商暗示，它對(duì)協(xié)商沒有什么興趣。

面對(duì)強(qiáng)大的谷歌，媒體公司沒有優(yōu)勢(shì)。年初時(shí)谷歌推出AI Overviews，媒體公司馬上表達(dá)出擔(dān)憂，它們擔(dān)心網(wǎng)站流量會(huì)受到影響，但媒體公司并沒有找到很好的應(yīng)對(duì)方案。

谷歌搜索的綁定策略

谷歌為AI產(chǎn)品準(zhǔn)備了特殊爬蟲，Googlebot爬蟲同時(shí)為AI Overviews和谷歌搜索服務(wù)。一位新聞發(fā)言人稱，Googlebot管理著AI Overviews，因?yàn)锳I與谷歌搜索引擎實(shí)際上是深度交互的。谷歌搜索頁面會(huì)以多種方式呈現(xiàn)內(nèi)容，包括圖片。

谷歌說，出版商可以屏蔽特定頁面或者頁面的特定片斷，讓它們不要出現(xiàn)在AI Overviews中，但這樣做也可能會(huì)阻止內(nèi)容出現(xiàn)在谷歌其它搜索功能中。

出版商約有一半的流量來自谷歌搜索，面對(duì)屏蔽風(fēng)險(xiǎn)，出版商不敢冒險(xiǎn)。

Raptive為出版商和有影響力的人發(fā)聲，公司創(chuàng)新主管Marc McCollum認(rèn)為，谷歌似乎低估了自身決定對(duì)內(nèi)容創(chuàng)作者的威脅，對(duì)于那些高度依賴搜索的企業(yè)來說，威脅尤其大；一旦選擇退出，創(chuàng)作者在整體搜索中的存在感將會(huì)大大降低。

iFixit網(wǎng)站提供消費(fèi)電子維修指南，網(wǎng)站CEO Kyle Wiens說，相比與其它AI企業(yè)的合作，與谷歌的關(guān)系更緊張一些。他說：“我可以在不損害業(yè)務(wù)的情況下禁止ClaudeBot（指AI公司Anthropic的爬蟲）抓取我們的內(nèi)容，但如果將Googlebot禁了，我們會(huì)損失流量和客戶。”

AI搜索創(chuàng)企面臨困難

谷歌與Reddit達(dá)成合作，Perplexity也在與Reddit商討內(nèi)容授權(quán)問題，但谷歌設(shè)定的價(jià)格讓創(chuàng)業(yè)公司難以跟進(jìn)。谷歌說，與Reddit達(dá)成的合作意義深遠(yuǎn)，并不局限于訓(xùn)練數(shù)據(jù)。搜索創(chuàng)業(yè)公司Kagi的創(chuàng)始人Vladimir Prelovac說：“如果按谷歌的價(jià)格操作，我們要用20年的營收來支付費(fèi)用?！?

即使是實(shí)力強(qiáng)大的OpenAI也面臨困難，它推出SearchGPT，相當(dāng)于搜索版聊天機(jī)器人。亞馬遜、Goodreads、Uniqlo全都禁止GPT抓取內(nèi)容。OpenAI稱，即使網(wǎng)站拒絕提供AI訓(xùn)練數(shù)據(jù)，網(wǎng)站內(nèi)容仍會(huì)出現(xiàn)在搜索結(jié)果中。

Kagi公司至少有一半的成本來自于搜索數(shù)據(jù)抓取。擁有詳細(xì)的網(wǎng)絡(luò)索引是決定搜索引擎強(qiáng)弱的關(guān)鍵。Vladimir Prelovac稱，對(duì)于那些想用AI直接輸出答案的企業(yè)來說，數(shù)據(jù)顯得更重要。

Vladimir Prelovac稱：“生成式AI模型本身并不聰明，如果你想讓生成式AI輸出高質(zhì)量內(nèi)容，必須獲取相同的搜索索引內(nèi)容?！?

搜索創(chuàng)業(yè)公司You.com的創(chuàng)始人Richard Socher說，robots.txt文件無處不在，它為抓取制定了規(guī)范，文件迫使創(chuàng)業(yè)公司做出更謹(jǐn)慎的考慮。由于法律并沒有明確規(guī)定，所以企業(yè)可以大量抓取公開數(shù)據(jù)。

Richard Socher稱：“當(dāng)我們抓取內(nèi)容時(shí)，總是想著不要給網(wǎng)站造成太重負(fù)擔(dān)。只要是擁有robots.txt文件的網(wǎng)站，如果只讓谷歌抓取，禁止其它企業(yè)抓取，本質(zhì)上就是支持谷歌壟斷搜索?！?

Neeva是一家搜索創(chuàng)業(yè)公司，它提倡“抓取中立”原則，因?yàn)檫@一原則可以讓創(chuàng)業(yè)公司打造自己的搜索索引。iFixit CEO Kyle Wiens認(rèn)為，如果將谷歌搜索與它的AI產(chǎn)品分開，也許能解決問題。

DuckDuckGo公司認(rèn)為，搜索正在經(jīng)歷革命，谷歌索引問題變得越來越重要。該公司高管Kamyl Bazbaz說：“在生成式AI時(shí)代，搜索索引極為重要?！?

總之，出版商必須努力掌握自己的命運(yùn)，不能過度依賴其它任何平臺(tái)，包括谷歌。（小刀）