Im Gigapixel-Rausch
In Gigapixel-Welten kann man vom Stadtpanorama bis zum Weißen im Auge eines Passanten heranzoomen. Die Forschungsabteilungen bei Adobe und Microsoft arbeiten an Lösungen, solche Bildmassen ohne Festplattengeratter auf den Schirm zu bringen.
Aktuelle Digitalkameras lösen im Schnitt 12 Megapixel auf. Vor vier Jahren waren es halb so viele, in vier Jahren könnte sich deren Zahl abermals verdoppeln. Auch wenn das schon nach viel klingt, geht das technisch Machbare weit darüber hinaus. Chips, die die den Nachthimmel fotografieren sollen, wie der CCD-Sensor des kanadischen Halbleiterproduzenten Dalsa, lösen 100 Megapixel und mehr auf. Forscher an der University of Alabama entwickelten zusammen mit Sony eine Gigapixel-Kamera, die für Virtual Earth und Google Earth die Erde fotografieren soll. Enthusiasten versuchen einander mit gigantischen Panoramen im Gigapixel- Bereich zu übertreffen. Übliche Bildbetrachter gehen beim Versuch, Derartiges zu öffnen, in die Knie.
Adobe nähert sich dem Gigapixel-Phänomen, damit zukünftige Versionen von Photoshop die großformatigen Bilder blitzschnell anzeigen können. Die aktuelle Version von Photoshop kann zwar bereits theoretisch Bilder in einer Auflösung von 90 Gigapixel darstellen, würde sich daran aber mangels Arbeitsspeicher kräftig verschlucken. Ein von Adobes Forschungsabteilung entwickelter Viewer nebst eigenem Dateiformat beschleunigt die Anzeige solcher Fotos drastisch. Er zeigt Fotos des Projekts Gigapxl.org an. Die Betreiber der Webseite, Graham Flint und Catherine Aves, bauten eine analoge Fotokamera um, die ursprünglich in einem amerikanischen Spionageflugzeug des Modells U2 Fotos aus 20.000 Metern Höhe auf Film in der Größe von 9 × 18 Zoll (etwa 23 × 46 cm) bannte.
Nach einem hochauflösenden Scan präsentiert das Team Ausschnitte der Fotos amerikanischer Städte oder des UNESCO-Weltkulturerbes in einer Auflösung von vier Gigapixeln auf seiner Webseite. Der Adobe-Viewer weist bei einem Panorama der Stadt Boston unprätentiös auf dessen Ausmaße hin: 79.079 × 50.066 Pixel – beinahe vier Gigapixel. Adobes Vice President Interactive Design Dave Story zoomte im Gespräch mit c’t auf seinem Laptop mühelos zum Führerhaus eines Krans, der im Gesamtpanorama gar nicht weiter auffiel und bemerkt: „Ich wusste gar nicht, dass die Dinger Scheibenwischer haben.“
Der Betrachter bemerkt beim Hinein- und Hinauszoomen kein Ruckeln, obwohl die Dateigröße von 12 GByte das Volumen des Arbeitsspeichers um ein Vielfaches übersteigt. Des Rätsels Lösung ist eine Pixelpyramide, die das Vollbild relativ gering aufgelöst zeigt, und jede weitere Ebene in vierfacher Auflösung vorhält, bis die volle Detailtiefe erreicht ist. Der Viewer lädt jeweils nur die Kacheln, die zur Anzeige der nächsten Bildportion nötig ist. „Er antizipiert die vom Nutzer beschriebene Bewegung und lädt automatisch die benötigten Bildkacheln in den Cache“, erklärt Dave Story. Ist dieser voll, verwirft der Viewer Kacheln aus den am weitesten entfernten Ebenen der Pyramide. Ein Schema der Bildpyramide nebst farbiger Markierung für im Arbeitsspeicher befindliche Kacheln blendet er auf Wunsch ein.
Photoshop verwendet bereits ein ähnliches Modell zur Aktualisierung von Bilddaten. Unter Bearbeiten/Voreinstellungen/Arbeitsspeicher & Bildcache informiert Photoshop, dass es Bildpyramiden aus sechs Ebenen zusammensetzt. Für die Öffentlichkeit ist der Adobe-Viewer nicht verfügbar. Es gibt aber kostenlose und frei verfügbare Alternativen zur Anzeige der Gigapxl-Bilder.
Google Earth zeigt ab Version 4.2 die Fotos des Gigapxl-Projekts an, wenn man die Ebene Galerie/ Gigapxl Fotos hinzuschaltet. Es nutzt zur Anzeige von Bilddaten ebenfalls Kacheln und eine Pyramide mit verschiedenen Auflösungsstufen. Die Fotos erscheinen als schwebende Leinwand beispielsweise vor der Golden-Gate-Brücke oder dem Palace of Fine Arts in San Francisco. Einmal hineingefahren kann man die Gigapixel-Welten in gewohnter Google-Earth-Manier erforschen.
Gigantische Panoramen
Gigantische Panoramen
Forscher von Microsoft Research und der Universität Konstanz stellten sich ebenfalls die Frage, wie man große Mengen von Bilddaten erzeugen und im Browser zur Ansicht bringen kann. Das Ergebnis der Anstrengungen ist das Browser-Plug-in HD View, welches Fotos in einer Auflösung von mehreren Gigapixeln mühelos auf den Schirm bringt. Per Maus kann der Nutzer hinein- und hinauszoomen, und so im Stadtpanorama in einzelne Fenster schauen. Um an das Material zu kommen, montierte der Hamburger Johannes Kopf eine Spiegelreflexkamera auf die Halterung eines LX200-Teleskops von Meade. Es besitzt Servomotoren, die Kopf über eine selbst entwickelte Software ansteuerte.
Ein Gigapixel-Bild zeigt dieses Stadtpanorama mit atemberaubender Detailtiefe. Die schwarzen Streifen unten entstanden, als der 8-Megapixel-Kamera der Strom ausging. Sie sind 3500 Pixel breit.
Auf diese Weise dauerte das Fotografieren von mehreren hundert Einzelfotos nur anderthalb Stunden. Fotografiert wurde in vertikalen Reihen. Horizontale Reihen eignen sich weniger gut, da während des Fotografierens die Schatten wandern. Ein auf der SIGGRAPH 2004 vorgestellter Algorithmus von Microsoft Research setzt die ausgerichteten Fotos zusammen. Er überblendet Bildbereiche nicht, da dabei hässliche Geistererscheinungen auftreten können. Der Algorithmus zur interaktiven digitalen Fotomontage findet selbstständig kontrastreiche Kanten. Dank ihnen können die Fotos ohne transparente Fußgänger und verwischte Blätter zusammengesetzt werden. Überlappendes wird abgeschnitten.
Die HD-View-Software teilte das Panorama anschließend in eine Pyramide aus 256 × 256 Pixel großen Kacheln auf. Vier Kacheln fasst HD View auf der nächstgrößeren Ebene zusammen. Je nach Auflösung des Ausgangsmaterials weist die Pyramide unterschiedlich viele Ebenen auf. „Da der Detailreichtum von Ebene zu Ebene exponentiell zunimmt, reichen maximal zehn Ebenen aus“, sagt Kopf. Der Browser projiziert das Bild in der Totalen sphärisch oder zylindrisch, um die durch die Aufnahme entstandene Geometrie eines sehr weiten Blickwinkels nachzubilden. So entsteht ein natürlicher Bildeindruck.
Der Nachteil: Gerade Linien erscheinen gekrümmt. Zoomt man in das Bild hinein, wechselt HD View zu einer perspektivischen Projektion, die die krummen Linien sukzessive gerade rückt. Außerdem passt der Viewer das Tone-Mapping an, hellt in der Totalen dunkle Bereiche beim Zoomen auf und dunkelt besonders helle Bereiche ab.
Mehr Details, bitte!
Mehr Details, bitte!
Auf der Seite von xRez findet sich eine Sammlung von Gigapixel-Bildern, die sich entweder ähnlich wie das Kartenmaterial auf Maplibs mit Google-Maps-Technik oder via HD-View-Plug-ins in Internet Explorer oder Firefox betrachten lassen. Eric Hanson und Greg Downing haben sich mit ihrer in Kalifornien ansässigen Firma xRez auf den Umgang mit Gigapixel-Bildern spezialisiert. Downing versuchte Panoramen zu erstellen, die einen ähnlichen Eindruck vermitteln, den der Betrachter an Ort und Stelle bekommt – zum Beispiel mit mehreren Meter langen, äußerst detailreichen Drucken.
Hanson kommt aus der Special-Effects-Industrie. Als Hintergrund (matte painting) oder Textur in eine dreidimensionale Umgebung wie Maya importiert, gibt ein Gigapixel-Bild dem Animator ausreichend Spielraum, sich in seiner Welt zu bewegen. Während der Google-Maps-Viewer beim Schwenken die schwarze Fläche mit Kacheln füllt und beim Zoomen deutlich zwischen verschiedenen Auflösungsstufen wechselt, erscheint die Fahrt durch die xRez-Panoramen mit HD View weich und ohne Unterbrechung. Gigapixel-Material kann auch der Amateur selbst erstellen. Ohne ein computergesteuertes Stativ fällt es allerdings schwer, genau genug zu fotografieren. Außerdem verlangt das Zusammensetzen von 100 oder mehr 10-Megapixel-Fotos zu einem Panorama nach beträchtlicher Rechenleistung.
Der Gigapixel-Viewer von Adobe zeigt, welche Kacheln sich gerade im Arbeitsspeicher befinden. Während Kamerafahrten lädt er in Fahrtrichtung neue Kacheln und verwirft andere wieder.
Photoshop CS3 schaffte auf einem Rechner mit 3,4-GHz-Pentium-4- Prozessor und 1 GByte RAM insgesamt nur ein 200-Megapixel-Foto. Beim Versuch, die Gigapixel-Grenze zu überschreiten, stürzte Photoshop ab. Einem Core2Duo 6400 mit 4 GByte RAM gelang es in knapp zwei Stunden, ein Gigapixel-Bild zusammenzusetzen. Bei einer Auflösung von 1280 × 1024 Pixeln ist die Kapazität des Bildschirms bereits bei 1,3 Megapixeln erreicht, also lohnt sich der Einsatz eines Plugins wie HD View durchaus auch zum Betrachten eines 200-Megapixel-Fotos.
Das Kommandozeilen-Tool hdmake oder ein Photoshop-Plug-in für den Export-Dialog bereiten Bilder für den HD-View-Betrachter auf. Microsoft bietet Tool und Photoshop-Plug-in ebenso wie die Browser-Plug-ins zum Download an.
Virtueller Tourismus
Virtueller Tourismus
Die Idee, gemeinsame Bildpunkte zu finden und miteinander zu verbinden, lässt sich auch für andere Zwecke als zum Panorama-Stitching verwenden, beispielsweise für Navigation und Suche. Eine Google-Bildersuche nach „Notre Dame Paris“ fördert über eine Million Ergebnisse zu Tage. Die meisten davon zeigen die berühmte Kathedrale, allerdings kann der Suchende nicht spezifizieren, welches Detail er genau aus welchem Blickwinkel sehen möchte. Angesichts der Fülle vorhandener Bilder ist das Konzept der klassischen Bildersuche überfordert.
Die Microsoft Live Labs haben ein Verfahren gefunden, Bildinformationen auf intuitivere Art und Weise zugänglich zu machen. Die Microsoft-Forscher haben in Zusammenarbeit mit der Universität Washington ein Verfahren zum Betrachten großer Bildersammlungen desselben Motivs entwickelt, welches einen völlig anderen Eindruck vermittelt als ein Gigapixel- Bild. Die zugehörige Anwendung heißt Photosynth. Die Synths genannten Bildersammlungen verdankt der Betrachter einem Forschungsprojekt der Universität Washington namens Photo Tourism, deren Ziel es war, eine Umgebung zum Betrachten großer Fotokollektionen zu entwickeln. Dabei wird der Betrachter nicht nur über die Ausrichtung des Fotos, sondern auch über die Aufnahmeposition, Ausrichtung und das Blickfeld der Kamera informiert.
Photosynth verknüpft Einzelbilder lose miteinander zu einem dreidimensionalen Modell.
Photosynth ist eine 3D-Welt im Kleinen. Der Viewer funktioniert immer nur im abgeschlossenen Kontext, das heißt mit Bildern, die sich ähnlich einem zusammengesetzten Panorama überlappen. Auf der Projektseite im Web stehen sieben verschiedene Modelle zum Betrachten bereit: der Petersplatz in Rom, die kanadischen Grassi-Seen, der Markusplatz in Venedig, das Atelier des Künstlers Gary Faigin, der südkoreanische Gyeongbokgung-Palast, eine BBC-Kollektion mit dem Titel „How we built Britain“ sowie Bilder des Space Shuttles Endeavor. Alle Kollektionen lassen sich auf Windows-Rechnern mit XP SP2 oder Vista mit Internet Explorer ab Version 6 oder Firefox ab Version 1.5 betrachten. Voraussetzung ist, dass man vorher den Photosynth-Browser installiert.
„Einer der Träume ist, dass dieser Ansatz virtuelle Reisen zu den interessanten und wichtigen Sehenswürdigkeiten dieser Welt erlaubt“, sagen Noah Snavely und Steven M. Seitz von der Universität Washington sowie Richard Szeliski von Microsoft Research in einem Paper über Photo Tourism. Anders als ein Panorama-Stitcher fügt Photosynth nicht lediglich mehrere Fotos zu einem neuen Bild mit geradegebogenen Kanten zusammen. Der Betrachter fliegt stattdessen per Pfeiltasten durch eine Art 3D-Modell. Er bekommt kein Drahtgitter oder texturierte Flächen zu sehen, sondern navigiert im schwarzen Raum, der von ein paar Lichtpunkten erhellt wird. Die Punktwolke gibt eine grobe Orientierung. Fotos erscheinen während der Fahrt als trapezförmige Rahmen.
Steuert der virtuell Reisende darauf zu, zeigt der Photosynth-Browser das Bild an. Klickt er auf ein anderes, benachbartes Bild, wechselt der Browser nicht nur die Ausrichtung, sondern auch die Perspektive. Was vorher ein Trapez war, wird ein Rechteck. So lässt sich die gesamte Notre Dame im Browser umrunden und von jedem erdenklichen Blickwinkel aus betrachten. Stehen genug Detailaufnahmen zur Verfügung, lassen sich sogar einzelne Fenster und Wasserspeier in Augenschein nehmen. Während der Fahrt geht ständig ein Foto sanft in ein anderes über. Je nach Dichte der verarbeiteten Fotos fährt man von Bild zu Bild an der Fassade der Notre Dame oder den Gebäuden am Markusplatz entlang.
Aus 2D mach 3D
Aus 2D mach 3D
HD View zeigt in Windeseile ein gigantisches Panorama an und zoomt stufenlos hinein, ohne dass der Zuschauer auf das Bildmaterial warten muss.
Aus zweidimensionalen Fotos eine dreidimensionale Umgebung zu basteln nennen die Entwickler image-based Modeling. Unter anderem nutzt die Technik die in den EXIF-Daten eines Fotos gespeicherte Brennweite des verwendeten Objektivs. Bei den Synths kommen Fotos zusammen, die mit unterschiedlichen Kameras und Objektiven aus jedem erdenklichen Winkel aufgenommen wurden. Photosynth rekonstruiert aus den Bildern Informationen über die relative Position und Orientierung des Bildes sowie der Kamera, die es aufgenommen hat.
Die Algorithmen hinter der angetäuschten 3D-Fassade arbeiten in drei Schritten: Zunächst suchen sie in den Bildern Merkmalspunkte, anschließend ordnen sie die in jedem Bild gefundenen Punkte einander zu und schließlich rekonstruiert ein Verfahren namens „structure from motion“ die ursprüngliche Position der Kamera. Der besondere Charme der Photosynth-Technik besteht zum einen in der intuitiven Nutzung, die sich natürliche Gegebenheiten wie die dreidimensionale Anordnung der Objekte zunutze macht, aber auch darin, dass eine Fotosammlung vollautomatisch verarbeitet werden kann.
Weich wie Butter
Hinter Photosynth steckt der Bildbetrachter Seadragon und dessen Fähigkeit, große Fotosammlungen schnell und geschmeidig anzuzeigen. Auch er nutzt aus Kacheln zusammengesetzte Bildpyramiden für alle anzuzeigenden Bilder. Die Anzahl der einzelnen Bilder oder deren Größe spielt für Seadragon keine Rolle. „Es dauert nicht länger, eine Sammlung von hundert 100-Megapixel-Bildern zu öffnen als dasselbe mit einem 1- Megapixel-Bild zu tun“, sagt Alex Daley, Group Product Manager für Photosynth bei Microsoft. Die Performance soll einzig vom Verhältnis der Bildschirmgröße zur Bandbreite der Datenübertragung abhängen. Demnach braucht ein mit 40 KBit/s angebundenes Mobiltelefon mit einem Winzlings-Display ebenso lange zur Darstellung wie ein mit einem MBit/s angebundener Rechner mit einem großen Monitor.
Weiterhin verspricht Daley, dass Übergänge von der Totalen zum Detail „weich wie Butter“ erscheinen, während andere Systeme beim Wechseln von einer zur nächsten Auflösung Übergangsbilder zeigten. Seadragon nutzt unterschiedliche Threads zum Laden, Skalieren und Anzeigen der Bilder sowie zum Überblenden verschiedener Auflösungsstufen. Zusätzlich aktualisiert der Viewer die Bilddaten immer in der Bildmitte zuerst, um die Illusion augenblicklicher Rückmeldung zu unterstützen. Seit Kurzem lässt sich die Seadragon- Technik via Silverlight für eigene Webseiten verwenden, allerdings müssen potenzielle Nutzer auf die 3D- Fähigkeiten von Photosynth verzichten.
Mit der Freeware Deep Zoom Composer lassen sich Bildersammlungen zusammenstellen, in die man per Silverlight-Plug-in stufenlos hineinzoomen kann.
Die kostenlose Software Deep Zoom Composer von Microsoft befähigt jeden Hobbyfotografen dazu, selbst gestitchte Fotos mit einer Seitenlänge von bis zu 15.000 Pixeln oder Fotosammlungen schnell im Web-Browser zu verarbeiten. Im Editor platziert man die Bilder so, wie sie später auf der Seite erscheinen sollen, und exportiert das Ganze für Silverlight. Mit dem passenden Plug-in können Besucher der Webseite per Mausklick oder Scrollrad weich in die Bilder herein- und mit gedrückter Shift- Taste und Mausklick wieder herauszoomen. Keines der Projekte kann bisher eine kommerzielle Anwendung vorweisen. Sie zeigen aber auf beeindruckende Weise das Potenzial, welches in digitalen Fotos steckt. Für den Nutzer verschwimmt beim Spielen mit HD View, Photosynth und Co. die Grenze zwischen Foto, Video und Spiel, während er interaktiv durch die Bilddaten fliegt. Nie war das Betrachten von Bildern dynamischer.
