谷歌開源更快、更高效的 TensorFlow 運(yùn)行時(shí) TFRT

TensorFlow 官方博客宣布開源新的運(yùn)行時(shí) TFRT，該運(yùn)行時(shí)提供了統(tǒng)一的、可擴(kuò)展的基礎(chǔ)結(jié)構(gòu)層，并在各類硬件上均具有高性能。

TFRT 產(chǎn)品經(jīng)理 Eric Johnson 表示，TFRT 將取代現(xiàn)有的 TensorFlow 運(yùn)行時(shí)。原有的 TensorFlow 運(yùn)行時(shí)最初是為圖形執(zhí)行和訓(xùn)練模型的工作負(fù)載而構(gòu)建的。與之相比，新的運(yùn)行時(shí)將急切的執(zhí)行需求放在第一位，同時(shí)特別強(qiáng)調(diào)架構(gòu)的可擴(kuò)展性和模塊化。

它能夠很好地滿足開發(fā)復(fù)雜模型時(shí)尋求更快的迭代時(shí)間的開發(fā)者需求、在訓(xùn)練和服務(wù)生產(chǎn)模型時(shí)改進(jìn)性能的需求，以及希望以模塊化方式將邊緣和數(shù)據(jù)中心設(shè)備集成到 TensorFlow 中的硬件制造商需求。

簡單來講，TFRT 可以減少開發(fā)、驗(yàn)證和部署企業(yè)級(jí)模型所需的時(shí)間。

TFRT 利用了 eager 和圖形執(zhí)行的通用抽象，為了獲得更好的性能，其圖執(zhí)行器支持并發(fā)執(zhí)行操作和異步 API 調(diào)用。在性能測試中，與 TensorFlow 當(dāng)前的運(yùn)行時(shí)相比，TFRT 將經(jīng)過訓(xùn)練的 ResNet-50 模型（一種流行的圖像識(shí)別算法）在圖形卡上的推理時(shí)間縮短了 28%。

TFRT 仍處在早期開發(fā)階段，它已經(jīng)與 TensorFlow 集成，最終將成為其默認(rèn)運(yùn)行時(shí)。

關(guān)于 TFRT 的更多信息，可查看 TensorFlow 官方博客：

https://blog.tensorflow.org/2020/04/tfrt-new-tensorflow-runtime.html