About RTI · OpenRTI

Definition

In RTI the camera and the documented surface stay fixed; only the direction of the light changes across a series of photographs. From these photographs a mathematical reflectance function is computed for every pixel, describing how that point's brightness changes with the light direction.

The result is not a single photograph but an interactive model: the user can move the light to any direction on screen, and intermediate directions that were never used during capture are reconstructed from the model. Light striking the surface at a low angle (raking light) reveals, through their shadows, worn decoration and lettering, tool and use marks and fine relief that cannot be made out with the naked eye or in a single photograph.

RTI is not a three-dimensional measurement method: it models the surface's appearance as a function of light and does not measure its geometry. It can be used alongside photogrammetry or laser scanning as a complementary documentation tool.

RTI'da kamera ve belgelenen yüzey sabit tutulur; yalnızca ışığın yönü değiştirilerek bir dizi fotoğraf çekilir. Bu fotoğraflardan her piksel için, o noktanın parlaklığının ışık yönüne göre nasıl değiştiğini tanımlayan matematiksel bir yansıma işlevi hesaplanır.

Sonuç tek bir fotoğraf değil, etkileşimli bir modeldir: kullanıcı ekranda ışığı istediği yöne taşıyabilir, çekim sırasında kullanılmamış ara ışık yönleri de modelden yeniden oluşturulur. Işığın yüzeye yatık gelmesi (yalayan ışık, İng. raking light), çıplak gözle ya da tek bir fotoğrafta seçilemeyen aşınmış bezeme ve yazıları, alet ve kullanım izlerini, ince kabartma ayrıntılarını gölgeleriyle görünür kılar.

RTI bir üç boyutlu ölçüm yöntemi değildir: yüzeyin görünüşünü ışığa bağlı olarak modeller, geometrisini ölçmez. Fotogrametri ya da lazer taramayla birlikte, onları tamamlayan bir belgeleme aracı olarak kullanılabilir.

Scientific background

Photometric stereo. The theoretical roots of RTI lie in photometric stereo, a computer vision method. Robert J. Woodham (1980) showed that a few images taken from a fixed viewpoint under different lighting directions are enough to determine the surface orientation (normal) and reflectance at each point. RTI applies the same principle, but to examine a surface visually rather than to measure it.

Image-based relighting. Reflectance as a function of light direction is represented by a small number of coefficients per pixel. New lighting conditions can therefore be computed from photographs alone, without a detailed 3D model of the surface or knowledge of its material properties. The main mathematical models are:

PTM (Polynomial Texture Map): a second-order polynomial in the two components of the light direction for each pixel (six coefficients). Defined by Malzbender, Gelb and Wolters (2001); the same paper introduced image enhancement operations such as diffuse gain and specular enhancement.
HSH (Hemispherical Harmonics): a basis developed to represent functions defined only on the hemisphere (Gautron, Křivánek, Pattanaik and Bouatouch 2004). In RTI it is used as an alternative to PTM that can give more accurate results, particularly on shiny surfaces.
PCA + RBF: the photograph stack is compressed with principal component analysis and interpolated between light directions with radial basis functions. Ponchio, Corsini and Scopigno (2018) showed that with this approach high-quality RTI can be delivered over the web at the size of a few JPEG images.

Fotometrik stereo. RTI'nın kuramsal kökeni, bilgisayarlı görüdeki fotometrik stereo yöntemine dayanır. Robert J. Woodham (1980), bakış noktası sabitken aydınlatma yönü değiştirilen birkaç görüntünün, her noktadaki yüzey yönelimini (normalini) ve yansıtma katsayısını belirlemeye yeterli olduğunu göstermiştir. RTI aynı ilkeyi, yüzeyin ölçülmesinden çok görsel olarak incelenmesi amacıyla kullanır.

Görüntü tabanlı yeniden aydınlatma. Işık yönüne bağlı yansıma, her piksel için az sayıda katsayıyla temsil edilir. Böylece yüzeyin ayrıntılı bir üç boyutlu modeli ya da malzeme özellikleri bilinmeden, yalnızca fotoğraflardan yeni ışık koşulları hesaplanabilir. Kullanılan başlıca matematiksel modeller şunlardır:

PTM (Polinom Doku Haritası): her piksel için ışık yönünün iki bileşenine bağlı ikinci dereceden bir polinom (altı katsayı). Malzbender, Gelb ve Wolters (2001) tarafından tanımlanmıştır; aynı çalışma, Yaygın Kazanç (diffuse gain) ve Yansı Katkı (specular enhancement) gibi görüntü güçlendirme işlemlerini de ortaya koymuştur.
HSH (Yarımküresel Harmonikler): yalnızca yarımküre üzerinde tanımlı işlevleri temsil etmek için geliştirilmiş bir taban (Gautron, Křivánek, Pattanaik ve Bouatouch 2004). RTI'da, özellikle parlak yüzeylerde PTM'ye göre daha doğru sonuç verebilen bir alternatif olarak kullanılır.
PCA + RBF: fotoğraf yığınının temel bileşen analiziyle sıkıştırılıp ışık yönleri arasında radyal taban işlevleriyle ara değer hesaplanması. Ponchio, Corsini ve Scopigno (2018), bu yaklaşımla yüksek kaliteli RTI'ın web üzerinden birkaç JPEG görüntüsü boyutunda aktarılabildiğini göstermiştir.

History and developers

1980: Photometric stereo. Robert J. Woodham publishes a method for determining surface orientation under varying illumination.
2001: Polynomial Texture Maps (PTM). Tom Malzbender, Dan Gelb and Hans Wolters present the method they developed at Hewlett-Packard Laboratories at SIGGRAPH 2001. It is the direct starting point of RTI.
2002: Cultural Heritage Imaging (CHI). Mark Mudge and Carla Schroer found the non-profit CHI in San Francisco. They had begun working with Malzbender shortly after seeing the PTM work at SIGGRAPH 2001; CHI takes a leading role in applying the method to cultural heritage and spreading its use.
2004: Hemispherical harmonics. Gautron and colleagues define the HSH basis for reflectance functions on the hemisphere; RTI software later adopts it as an alternative to PTM.
2006: Highlight-RTI (H-RTI). Mudge, Malzbender, Schroer and Lum publish the method in which the light direction is computed from the highlight on a glossy black sphere placed in the frame. It makes RTI capture possible in the field with a camera and a handheld flash, without a fixed rig. CHI develops the open-source RTIBuilder software supporting the method with a team at the University of Minho, Portugal.
2010s: RTIViewer. An open-source viewer developed principally by the Visual Computing Laboratory of ISTI, part of the Italian National Research Council (CNR), with contributions from the University of California, Santa Cruz, the University of Minho, Tom Malzbender and CHI. It makes PTM and HSH files widely accessible to researchers.
2011: Dome systems and ancient documents. The AHRC-funded RTISAD project (Earl et al. 2011) develops and tests a range of capture and processing techniques, including light domes, for ancient documents and archaeological surfaces; its datasets include examples from Herculaneum, Abydos and Çatalhöyük.
2018: Compressed RTI for the web. Federico Ponchio, Massimiliano Corsini and Roberto Scopigno (ISTI-CNR) present a new PCA- and RBF-based representation at Web3D 2018 (best paper award). The software from this work, relight, allows RTI to be shown in the browser at high quality with little data; an extended version is published in 2019.
Today: New models and applications. Approaches such as multispectral RTI, capture at microscopic scale and neural relighting models are being researched. Guidance for heritage institutions has also been published (e.g. by Historic England).

1980: Fotometrik stereo. Robert J. Woodham, değişen aydınlatma altında yüzey yönelimini belirleme yöntemini yayımlar.
2001: Polinom Doku Haritaları (PTM). Tom Malzbender, Dan Gelb ve Hans Wolters, Hewlett-Packard Laboratuvarları'nda geliştirdikleri yöntemi SIGGRAPH 2001'de sunar. RTI'ın doğrudan başlangıç noktasıdır.
2002: Cultural Heritage Imaging (CHI). Mark Mudge ve Carla Schroer, San Francisco'da kâr amacı gütmeyen CHI'yi kurar. PTM çalışmasını SIGGRAPH 2001'de gördükten kısa süre sonra Malzbender ile birlikte çalışmaya başlamışlardır; CHI, yöntemin kültürel mirasa uygulanmasında ve yaygınlaşmasında öncü rol üstlenir.
2004: Yarımküresel harmonikler. Gautron ve arkadaşları, yarımküre üzerindeki yansıma işlevleri için HSH tabanını tanımlar; bu taban daha sonra RTI yazılımlarında PTM'ye alternatif olarak kullanılır.
2006: Highlight-RTI (H-RTI). Mudge, Malzbender, Schroer ve Lum, ışık yönünün çekim karesine konan parlak siyah bir küre üzerindeki yansımadan hesaplandığı yöntemi yayımlar. Sabit düzenek gerektirmeden, bir fotoğraf makinesi ve el flaşıyla arazide RTI çekimini mümkün kılar. CHI, bu yöntemi destekleyen açık kaynak RTIBuilder yazılımını Portekiz'deki Minho Üniversitesi ekibiyle geliştirir.
2010'lar: RTIViewer. Başlıca geliştiricisi İtalya Ulusal Araştırma Konseyi'ne (CNR) bağlı ISTI Görsel Hesaplama Laboratuvarı olan; Kaliforniya Üniversitesi Santa Cruz, Minho Üniversitesi, Tom Malzbender ve CHI'nin katkılarıyla hazırlanan açık kaynak görüntüleyici. PTM ve HSH dosyalarının araştırmacılar arasında yaygın biçimde incelenmesini sağlar.
2011: Kubbe sistemleri ve antik belgeler. AHRC destekli RTISAD projesi (Earl vd. 2011), antik belgeler ve arkeolojik yüzeyler için ışık kubbeleri de dahil çeşitli çekim ve işleme tekniklerini geliştirip sınar; veri setleri arasında Herculaneum, Abydos ve Çatalhöyük'ten örnekler bulunur.
2018: Web için sıkıştırılmış RTI. Federico Ponchio, Massimiliano Corsini ve Roberto Scopigno (ISTI-CNR), PCA ve RBF tabanlı yeni gösterimi Web3D 2018'de sunar (en iyi bildiri ödülü). Bu çalışmanın yazılımı relight, RTI'ın tarayıcıda yüksek kalitede ve düşük veriyle gösterilmesini sağlar; yöntem 2019'da genişletilmiş olarak yayımlanır.
Günümüz: Yeni modeller ve kullanım alanları. Çok bantlı (multispektral) RTI, mikroskobik ölçekte çekim ve sinir ağı tabanlı yeniden aydınlatma modelleri gibi yaklaşımlar araştırılmaktadır. Kültürel miras kurumları için rehberler de hazırlanmıştır (ör. Historic England).

OpenRTI was developed independently from the public descriptions of these methods so that it can read data produced with relight; it contains no code from the software named above and implies no partnership with the people or institutions mentioned.

OpenRTI, bu yöntemlerin herkese açık tanımlarını ve relight ile üretilmiş verileri okuyabilecek biçimde bağımsız olarak geliştirilmiştir; yukarıda adı geçen yazılımların kodunu içermez ve adı geçen kişi ya da kurumlarla bir ortaklık ifade etmez.

Scientific limits

RTI is not a measurable three-dimensional model. Enhanced views support interpretation; they do not replace expert assessment.

The Normal Map view shows estimated directions from the model as colour; it is not depth or measurement.
An enhanced view is not raw data. On OpenRTI every mode other than Natural is flagged on screen as “Enhanced view”, and a shared link carries the mode used.
The capture setup, light calibration, model fit and image compression all affect the result. When interpreting a faint trace, compare several light directions.
Models are most reliable within the range of light directions used during capture; interpolation at very low light angles can produce artificial shadows and highlights.
Unless a scale calibration is provided, on-screen zoom gives no physical measurement.
OpenRTI does not add detail to images with generative AI; everything on screen is computed from the recorded RTI data.
“Published” status does not mean peer review or institutional endorsement.

Normal Haritası görünümü, modelden kestirilen yönleri renkle gösterir; derinlik ya da ölçü değildir.
Güçlendirilmiş görünüm ham veri değildir. OpenRTI'de doğal dışındaki her mod ekranda “Güçlendirilmiş görünüm” olarak işaretlenir; paylaşılan bağlantı kullanılan modu da taşır.
Çekim düzeneği, ışık kalibrasyonu, model uyumu ve görüntü sıkıştırması sonucu etkiler. İnce bir izi yorumlarken birden çok ışık yönünü karşılaştırın.
Modeller, çekimde kullanılan ışık yönleri aralığında en güvenilirdir; çok düşük ışık açılarında yapılan ara değer hesapları yapay gölge ve parlamalar üretebilir.
Ölçek kalibrasyonu verilmemişse ekrandaki yakınlaştırma fiziksel ölçü sağlamaz.
OpenRTI görüntülere üretken yapay zekâyla ayrıntı eklemez; ekranda görülen her şey kayıtlı RTI verisinden hesaplanır.
“Yayımlandı” durumu hakem değerlendirmesi ya da kurumsal onay anlamına gelmez.

References

Core publications

Woodham, R. J. (1980). Photometric method for determining surface orientation from multiple images. Optical Engineering, 19(1), 139–144. doi:10.1117/12.7972479
Malzbender, T., Gelb, D. andve Wolters, H. (2001). Polynomial texture maps. Proceedings of SIGGRAPH 2001, 519–528. ACM. doi:10.1145/383259.383320
Gautron, P., Křivánek, J., Pattanaik, S. andve Bouatouch, K. (2004). A novel hemispherical basis for accurate and efficient rendering. Eurographics Symposium on Rendering 2004.
Mudge, M., Malzbender, T., Schroer, C. andve Lum, M. (2006). New reflection transformation imaging methods for rock art and multiple-viewpoint display. VAST 2006: 7th International Symposium on Virtual Reality, Archaeology and Cultural Heritage, 195–202. Eurographics.
Earl, G. et al.vd. (2011). Reflectance transformation imaging systems for ancient documentary artefacts. EVA London 2011: Electronic Visualisation and the Arts, 147–154. doi:10.14236/ewic/EVA2011.27
Ponchio, F., Corsini, M. andve Scopigno, R. (2018). A compact representation of relightable images for the web. Proceedings of the 23rd International ACM Conference on 3D Web Technology (Web3D '18). doi:10.1145/3208806.3208820
Ponchio, F., Corsini, M. andve Scopigno, R. (2019). RELIGHT: A compact and accurate RTI representation for the web. Graphical Models, 105. doi:10.1016/j.gmod.2019.101040

Guidance and format records

Historic England — Multi-light Imaging: Highlight-Reflectance Transformation Imaging (H-RTI) for Cultural Heritage
Guidance on multi-light imaging for heritage documentation.
Library of Congress — Reflectance Transformation Imaging (RTI) File Format
The RTI format family, its context of use and related resources.
Library of Congress — Polynomial Texture Map (PTM) File Format
Technical record of the PTM file structure and its preservation.
Cultural Heritage Imaging
The RTI method, the RTIBuilder and RTIViewer software, and training resources.