OpenAI Point E: Tek bir GPU üzerinde dakikalar içinde karmaşık dalga formlarından bir 3B nokta bulutu oluşturun

Yeni bir makalede Point-E: Karmaşık sinyallerden 3B nokta bulutları oluşturmaya yönelik bir sistem olan OpenAI araştırma ekibi, karmaşık metin tarafından yönlendirilen çeşitli ve karmaşık 3B şekiller oluşturmak için difüzyon modellerini kullanan bir 3B nokta bulutu metin koşullu sentez sistemi olan Point E'yi sunar. ipuçları.tek bir GPU üzerinde dakikalar içinde.
Günümüzün en gelişmiş görüntü oluşturma modellerinin şaşırtıcı performansı, 3B metin nesnelerinin oluşturulmasında araştırmaları teşvik etmiştir.Ancak, dakikalar hatta saniyeler içinde çıktı üretebilen 2B modellerin aksine, nesne üretici modeller tek bir örnek oluşturmak için tipik olarak birkaç saatlik GPU çalışması gerektirir.
Yeni bir makale olan Point-E: Karmaşık sinyallerden 3B nokta bulutları oluşturmak için bir sistem olan OpenAI araştırma ekibi, 3B nokta bulutları için metinsel bir koşullu sentez sistemi olan Point·E'yi sunar.Bu yeni yaklaşım, tek bir GPU'da yalnızca bir veya iki dakika içinde karmaşık metin sinyallerinden çeşitli ve karmaşık 3B şekiller oluşturmak için bir yayılma modeli kullanır.
Ekip, sanal gerçeklik ve oyundan endüstriyel tasarıma kadar uzanan gerçek dünya uygulamaları için 3B içerik oluşturmayı demokratikleştirmede kritik öneme sahip olan metni 3B'ye dönüştürme zorluğuna odaklanmıştır.Metni 3B'ye dönüştürmek için mevcut yöntemler, her birinin dezavantajları olan iki kategoriye ayrılır: 1) üretken modeller, örnekleri verimli bir şekilde oluşturmak için kullanılabilir, ancak çeşitli ve karmaşık metin sinyalleri için verimli bir şekilde ölçeklenemez;2) karmaşık ve çeşitli metin ipuçlarını işlemek için önceden eğitilmiş bir metin-görüntü modeli, ancak bu yaklaşım hesaplama açısından yoğundur ve model, anlamlı veya tutarlı 3B nesnelere karşılık gelmeyen yerel minimumlara kolayca takılabilir.
Bu nedenle ekip, çok sayıda metin-görüntü çifti üzerinde eğitilmiş bir metinden görüntüye difüzyon modeli kullanarak (çeşitli ve karmaşık sinyalleri işlemesine izin vererek) yukarıdaki iki yaklaşımın güçlü yanlarını birleştirmeyi amaçlayan alternatif bir yaklaşım araştırdı. daha küçük bir metin-görüntü çifti seti üzerinde eğitilmiş bir 3B görüntü yayma modeli.image-3D çifti veri kümesi.Metin-resim modeli, tek bir yapay temsil oluşturmak için önce girdi görüntüsünü örnekler ve görüntü-3B modeli, seçilen görüntüye dayalı olarak bir 3B nokta bulutu oluşturur.
Komutun üretici yığını, metinden koşullu olarak görüntü oluşturmak için yakın zamanda önerilen üretici çerçevelere dayanmaktadır (Sohl-Dickstein ve diğerleri, 2015; Song & Ermon, 2020b; Ho ve diğerleri, 2020).Metinden görüntüye dönüştürme modeli olarak, işlenmiş 3B modellerde ince ayarı yapılmış 3 milyar GLIDE parametresine (Nichol ve diğerleri, 2021) sahip bir GLIDE modeli ve dönüşüm modelleri olarak RGB nokta bulutları oluşturan bir dizi difüzyon modeli kullanırlar. dönüşüm modeli.görüntüye görüntüler.3B modeller.
Önceki çalışmalarda nokta bulutlarını işlemek için 3B mimariler kullanılırken, araştırmacılar verimliliği artırmak için dönüştürücü tabanlı basit bir model kullandı (Vaswani ve diğerleri, 2017).Difüzyon modeli mimarisinde, nokta bulutu görüntüleri önce önceden eğitilmiş bir ViT-L/14 CLIP modeline beslenir ve ardından çıktı ağları, işaretçiler olarak dönüştürücüye beslenir.
Ekip ampirik çalışmalarında önerilen Point·E yöntemini COCO nesne algılama, segmentasyon ve imza veri kümelerinden gelen puanlama sinyallerinde diğer üretken 3B modellerle karşılaştırdı.Sonuçlar, Point·E'nin karmaşık metin sinyallerinden çeşitli ve karmaşık 3B şekiller üretebildiğini ve çıkarım süresini bir ila iki büyüklük sırası kadar hızlandırabildiğini doğrulamaktadır.Ekip, çalışmalarının 3B metin sentezi konusunda daha fazla araştırmaya ilham vermesini umuyor.
Projenin GitHub'ında önceden eğitilmiş bir nokta bulutu yayma modeli ve değerlendirme kodu mevcuttur.Belge Noktası-E: Karmaşık ipuçlarından 3B nokta bulutları oluşturmaya yönelik bir sistem arXiv'de.
Hiçbir haberi veya bilimsel keşfi kaçırmak istemediğinizi biliyoruz.Haftalık AI güncellemelerini almak için popüler Synced Global AI Weekly bültenimize abone olun.