Skip to content

Commit

Permalink
added two topics
Browse files Browse the repository at this point in the history
  • Loading branch information
FeMa42 committed Sep 11, 2024
1 parent c4f94a5 commit 8765896
Show file tree
Hide file tree
Showing 4 changed files with 23 additions and 0 deletions.
Binary file added assets/boborzi/diffusion.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added assets/boborzi/instantmesh.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
10 changes: 10 additions & 0 deletions topics/_boborzi/Diffusion.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,10 @@
---
lang: de
img_src: assets\boborzi\diffusion.png
title: Anpassung vonDiffusion Modelle
tags: ["pm", "ma"]
date: 2024-09-11
---
Du findest generative Modelle wie Stable Diffusion oder DALL-E, die anhand von Text detailreiche Bilder erzeugen können, spannend und hast Interesse, dich in aktuelle Machine-Learning-Themen einzuarbeiten?

In dieser Arbeit hast du die Möglichkeit, Methoden wie [Stable Diffusion](https://github.com/CompVis/stable-diffusion) und [SV3D](https://stability.ai/news/introducing-stable-video-3d) genauer kennenzulernen. Stable Diffusion ermöglicht es, Bilder anhand von Text oder anderen Vorgaben zu erzeugen. Bei der Methode SV3D wird ein Bild als Vorgabe verwendet, um mehrere Bilder zu generieren, die das Objekt aus verschiedenen Perspektiven zeigen. Mithilfe dieser Perspektiven können anschließend 3D-Objekte erzeugt werden. In der Arbeit sollen Möglichkeiten untersucht werden, wie Diffsuion Modelle auf andere Eingaben, wie zum Beispiel Zeichnungen, konditioniert werden können und wie sich diese Eingaben auf die Generierung auswirken. Abhängig von der Art der Arbeit können verschiedene Ansätze untersucht werden.
13 changes: 13 additions & 0 deletions topics/_boborzi/LRM.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
---
lang: de
img_src: assets\boborzi\instantmesh.png
title: Fine-tuning von Large Reconstruction Models für die 3D Objektgenerierung
copyright: TencentARC
tags: ["pm", "ma"]
date: 2024-09-11
---
Kann man per Knopfdruck 3D-Objekte erzeugen? Generative Modelle wie Stable Diffusion oder DALL-E können bereits beeindruckende Bilder anhand einer Beschreibung auf Knopfdruck erzeugen. Das wäre auch für 3D-Objekte interessant, und tatsächlich lassen sich Methoden der Bildgenerierung auch zur Erzeugung von 3D-Objekten nutzen. Allerdings sind die Ergebnisse oft noch nicht so überzeugend wie im Bildbereich und haben häufig eine lange Rechenzeit.

Large Reconstruction Models (zum Beispiel [InstantMesh](https://huggingface.co/spaces/TencentARC/InstantMesh)) sollen vor allem das Problem der langen Rechenzeit lösen, indem ein großes Transformermodell darauf trainiert wird, in einem Durchgang direkt ein 3D-Modell zu erzeugen.

Aus dem Bildbereich kennt man verschiedene Methoden, um große generative Modelle durch Fine-Tuning anzupassen, um einen bestimmten Stil oder eine bestimmte Art von Bildern zu erzeugen. Ähnlich soll in dieser Arbeit untersucht werden, wie ein Large Reconstruction Model mithilfe von Fine-Tuning angepasst werden könnte, um Objekte aus einer bestimmten Domäne, wie beispielsweise Fahrzeuge, besser generieren zu können.

0 comments on commit 8765896

Please sign in to comment.