Google, Imagen sinir ağını tanıttı

Google ilan edildi Imagen, bir metin sorgusunu görüntülere dönüştüren bir sinir ağıdır. Bu doğrudan bir rakip DALL-E2 OpenAI'den - bazı senaryolarda daha da iyi çalışır.

Bir metin sorgusunu tanımak için, sinir ağı büyük dil modelleri kullanır - GPT-3 gibi doğal konuşma işleme algoritmaları da bunları temel alır.

Sistem üç aşamada çalışmaktadır. İlki, sinir ağı orijinal talebe daha iyi uyacak şekilde değiştirene kadar rafine edilen 64 x 64 piksellik küçük bir görüntü çizer. Görüntü daha sonra 256 x 256 piksele kadar ölçeklenir ve Imagen ayrıntıları iyileştirir. Üçüncü aşamada, aynı şey, son boyuttaki tuval ile zaten tekrarlanır - 1024 x 1024 piksel.

Çalışmanın metni, Imagen'in karmaşık sorguları anlamakla DALL-E 2'den daha iyi başa çıktığını belirtiyor. Örneğin, "Panda latte sanatı yapar" sorgusu için, DALL-E 2 yalnızca pandalarla latte sanatı döndürürken, Google sinir ağı çoğunlukla doğru sonuçlar üretmeyi başardı:

Ancak Google, bu sinir ağlarının hiçbirinin "atlı astronot" sorgusunu kaldıramayacağını da kabul ediyor: her ikisi de inatla astronotları ata bindiriyor, tersi de geçerli değil. Her ikisinin de büyümek için yer var.

Bağımsız izleyici değerlendirme sonuçları, Imagen'in doğruluk ve uygunluk açısından DALL-E 2'den daha iyi performans gösterdiğini gösteriyor. Ve bu karşılaştırma subjektif olarak kabul edilebilse de, bu tür sonuçlar göz önüne alındığında hala etkileyicidir. DALL-E 2, şimdiye kadar, benzer yapıdaki diğer sinir ağlarının eşleşemeyeceği ulaşılmaz bir ideal olmuştur. varış noktası.

Her durumda, Imagen şimdilik sıradan kullanıcıların erişemeyeceği deneysel bir proje olmaya devam ediyor. Google'ın buna dayalı bir açık erişim hizmeti oluşturmasının ne kadar süreceği belli değil.