Sie sind auf Seite 1von 4

Folie 2

neural style transfer


first contact point with AI
artificial itelligence bietet nicht nur zukunftsweisende Möglichkeiten im Bereich der optimierten such
Algorithmen, sondern auch in mannigfaltigen Bereichen des Designs. Mit Hilfe von ai können vielfach
Möglichkeiten aufgezeigt werden, die für den menschlichen Geist nur schwer zu generieren sind Sie
bietet neue perspektiven und Sichtweisen auf die Zukunft des Designs. Die heute schon zu Verfügung
Gestellen Algorithmen wie beispielsweise neural style transfer können eine unendliche zahl an
Inspirationen bieten, um neue Wege zu gehen.

Artificial intelligence not only offers future-oriented possibilities in


the area of optimized search algorithms, but also in various areas of
design. With the help of ai, many possibilities can be shown that are
difficult for the human mind to generate. It offers new perspectives on the
future of design. The algorithms that are already available today, such as
neural style transfer, can offer an infinite number of inspirations for
breaking new ground.

pix2pix
concept idea
folie 3

Die konzeptuelle Idee hinter der Verwendung von ai basierenden und Computer unterstütztem
design ist denkbar einfach, man versucht mit Hilfe unterschiedlichster Formensprachen aus
verschiedensten Teilbereichen wie beispielsweise aus natürlichen struckturen zu kombinieren, um
neue Formensprachen zu entwickeln. Dieser Gedanke soll weitergeführt werden und in spezifische
Teilbereiche der Architektur angewendet werden. Es bietet die Chance menschliche
Vorgehensweisen und das menschliche Denken zu erweitern und zu ersetzen um eine nicht
voreingenommene sichtweises zu generieren

The conceptual idea behind the use of AI-based and computer-aided design is
very simple, it tries to combine different forms of language from various
sub-areas such as natural structures in order to develop new forms of
language. This idea should be continued and applied in specific sub-areas
of the architecture. It offers the chance to expand and replace human
approaches and thinking in order to generate a non-biased perspective.

Folie 4

pix2pix
image stylization method
Um bessere Ergebnisse zu erzielen, wurde versucht den Input zu verfeinern.
nach mehreren probe Durchläufen, stellte sich heraus das der pix 2 pix Algorithmus speziell auf
Liniengrafiken sehr gut reagiert und ermöglichte eine Verfeinerung der Stilisierungsbilder.
In weiterer Folge wurden unterschiedliche Methoden getestet, um ein gewünschtes Ergebnis zu
erzielen. In den Folgenden Bildern werden die einzelne schritte der Verfeinerung der
Stilisierungsbilder dargestellt die getestet wurden

Folie 7

In order to achieve better results, an attempt was made to refine the


input. After several series of samples, it turned out that the pix 2 pix
algorithm reacts very well especially to line graphics and enabled a
refinement of the stylization images.
Subsequently, different methods were tested in order to achieve a desired
result. The following pictures show the individual steps of the refinement
of the stylization pictures that were tested.

Folie 8

pix2pix
collage for connected textures

Durch die Bildergrößen Limitierung des pis 2 pix Algorithmus war es notwendig neue Wege zu finden
um ein größeres Pattern zu erzeugen. Eine Bildercollage bildete hierfür eine zuverlässige Möglichkeit
um komplexere und interessantere Outputs zu erzielen. Hierbei wurde versucht ob es möglich ist mit
einer Collage größere und vor allem, nahtlose Output Patterns zu erzeugen.
Die original Collage sowie die verfeinerten Style Bilder
wurden vorerst in 5 einzelne Bilder zerlegt und mit Hilfe des pix 2 pix Algorithmus stilisiert.
Anschließend wurden die einzelnen Bilder wieder nahtlos zusammen gefügt und erzeugen somit ein
größeres aber zusammen hängendes Element das in weiter folge auf größere Objekte appliziert
werden kann.

Due to the image size limitation of the pis 2 pix algorithm, it was
necessary to find new ways to create a larger pattern. A picture collage
was a reliable way to achieve more complex and interesting outputs. An
attempt was made to see whether it is possible to create larger and, above
all, seamless output patterns with a collage.
The original collage as well as the refined style pictures
were initially broken down into 5 individual images and stylized with the
help of the pix 2 pix algorithm. The individual images were then put back
together seamlessly, creating a larger but coherent element that can then
be applied to larger objects.

Verschiedene gemometiren aus archtitektur und aus der natur zu kombinieren

Hier wird beispielsweise der versuch auf gezeigt Fotos verschiedenster Fassaden als Input zu
verwenden und diesen mit komplexen natürlichen formen die in Natur und Umwelt vorkommen zu
verknüpfen um dadurch eine höhere Komplexität zu erreichen

This attempt is shown to use photos of various facades as input and to link
them with complex natural forms that occur in nature and the environment in
order to achieve a higher level of complexity.
Folie 11

Das verwendete Tool Ebsynth dient in diesem Schritt der Verräumlichung der zuvor generierten
Bilder. Dabei soll bei der 3 Dimensionalisierung der Charakter des durch Ai erzeugten Kontextes
erhalten bleiben. Hierfür werden einzelne Keyframes des Algorithmuses auf das restliche Video
appliziert.

Schritt zu verräumlicchen 3d dims

video

Ai chrakter

Einezelen key frames algorythmmuss auf restliches video anwendet

styleGAN2
latent walk

Die latent walk video sollen die Unterschiede der generierten Output Bilder aufzeigen Das
generative Bilder generieren erstellt. Dabei wird ein fließender Übergang der
einzelnen Interpolations Bilder erstellt. Dafür werden wieder neue zwischen schritte
erzeugt, die eine Mischung der einzelnen Inputs aufweisen

2d to 3d
displacement on simple geometry

einer der komplexeren schritte ist es den zuvor erstellten 2-dimensionalen


Bildern in eine Dimension hinzuzufügen.
In diesem speziellen Fall wurde testweise ein favorisiertes Bild
ausgewählt um damit passende Depth Maps zu produzieren.
Diese werden weiterführend mit Hilfe von Blender in eine displace map
umgewandelt um damit die sehr einfache Geometrie zu verändern
One of the more complex steps is to add the previously created 2-
dimensional images into a 3-dimension.
In this special case, a favorite image was selected as a test in order to
produce suitable depth maps.
These are then converted into a displace map with the help of Blender in
order to change the very simple geometry.

Um ein beseres räümliche resultate zu erzielen wurde versucht die


displacement map auf ein einfaches 3 dimiensionales objekt zu legen.

Um mehrer varianten zu erhalten wurde das zuvor erstllte laten wakl video mit
deph maps versehen um und als video realisiert um die unterschiede
der einzelnen struckturen aufzuzeigen
Die outputs der latend wakl videos mit weniger komplexen struckturen wurden
weiters verwendet um daraus 3 dimensionale grundstruckturen zu
entwickeln auf die anschliesend die displacement maps gelegt werden
soll. Für diesen prozess wurde das video wieder in einzelne frames
zerlegt und die struckturen als countour nachgebildet. Diese lienen
grafiken werden extrudiert und zu einer zusammenpassenden
geometire vereint.

In weiterer folgen wurden mehere und vorallem Verschieden keyframes


wurden genutzt um ein größere variation an geometrien zu erzeugen.

Final wurde eine favorisierte Geometrie ausgewählt um die zuvor getesteten


Prozesse darauf anzuwenden. Mit Hilfe von Blender wurde dabei eine
Animation generiert die die veränderlichen zustände der Basisgeometrie
hervorhebt

Introduction to Pix2Pix Generative Adversarial Network

Image-to-image translation is the controlled conversion of a given source image to a target image.

The Pix2Pix GAN is a general approach for image-to-image translation. It is based on the conditional
generative adversarial network, where a target image is generated, conditional on a given input
image. In this case, the Pix2Pix GAN changes the loss function so that the generated image is both
plausible in the content of the target domain, and is a plausible translation of the input image.