Results

Bio-info Visualization

• Neuron Navigator (NNG)

現在的尖端顯微鏡技術，已經可以產出大量前所未見的清晰神經元影像。但要如何從這些影像中找出關聯性，已對現在的電腦科技產生新的挑戰。例如，要如何找出神經元的聯結關係，這是一個了解腦內部如何傳遞和處理資訊的一個重要關鍵。

我們發展出一套新的系統，Neuron Navigator (NNG)，它整合了一個三維腦神經元影像資料庫，並加上功能強大的使用者介面，來幫助研究學者分析並觀察腦神經元連結關係，並發現可能的傳遞路徑。

NNG 除了可以搜尋神經元彼此聯結關係，並可以找出通過某個空間區域的神經元。並可以把多個條件合併搜尋。現在NNG實際應用於果蠅腦神經元影像。如要實際操作，可以到 http://211.73.64.34/NNG，註冊後就可以使用。操作影片請見本文底部連結。

(本研究成果已被PacificVis 2011 所接受, PDF)

201205更新: 已新開發出神經元聯結路徑搜尋功能, 及以神經元連結的 2D Connectivity Graph 顯示功能。並在2012年5月於 The 6th International Conference on Bioinformatics and Biomedical Engineering (iCBBE 2012) 發表 (PDF)

 

Recent advances in microscopic imaging technology have enabled neuroscientists to obtain unprecedentedly clear images of neurons. To extract additional knowledge from the tangled neurons, for example, their connective relationships, is key to understanding how information is processed and transmitted within the brain.

In this project, we have developed a new application, the Neuron Navigator (NNG), which integrates a 3D neuron image database into an easy-to-use visual interface. Via a powerful and user-friendly interface, NNG is designed to help researchers analyze and observe the connectivity within the neural maze and discover possible pathways. With NNG’s 3D neuron image database, researchers can perform volumetric searches using the location of neural terminals, or the occupation of neuron volumes within the 3D brain space. Also, the presence of the neurons under a combination of spatial restrictions can be shown as well. NNG has now been implemented on a coordinated brain space, that being, the Drosophila (fruit fly) brain. NNG is accessible through: http://211.73.64.34/NNG

(Presented at PacificVis 2011, Hong Kong, March, 2011) (PDF)

Updated 201205: The new functions have been implemented, such as the shortest path between two neurons, and 2D graph analysis. The new results have been accepted and presented at The 6th International Conference on Bioinformatics and Biomedical Engineering (iCBBE 2012)  (PDF)



Videos:

1. Single Object Query   2. And Query   3. Intersection Query   4. Across  Query

5. Innervation Query       6. Density Map 7. Path Query 8. 2D Connectivity Graph

• 果蠅腦（Fly Brain）

     

果蠅腦神經之三維影像視覺化應用。此為清華大學腦科學研究中心、美國冷泉港實驗室與國網中心之合作計畫。本計畫執行過程中，需要將三維影像切片之果蠅腦資料視覺化。國網中心視算與互動媒體實驗室，分別以網格與容積資料顯像（Volume Rendering）技術，對果蠅腦之神經網路與功能區塊加以呈現。於2007年，更開發出多層次精細度（Level-Of-Detail）容積顯像技術，使近景精細而遠景粗糙，讓系統在有限資源下，依然能提供即時互動的導覽功能，同時呈現高解析度果蠅腦影像。

使用網格(Mesh)呈現果蠅腦部各功能區塊	使用Volume Rendering呈現果蠅部份區塊與腦部神經	使用Volume Rendering呈現果蠅不同的區塊與神經

使用Level-Of-Detail Volume Rendering呈現高解析度果蠅腦資料	使用splitting-plane進行高解析度果蠅腦資料觀察	更換不同顏色與光影之顯像結果

• 蟑螂腦（Cockroach Brain）

蟑螂的腦功能結構。

使用網格(Mesh)呈現蟑螂腦部各功能區塊	使用Volume Rendering呈現蟑螂腦部各功能區塊	使用Volume Rendering呈現蟑螂腦部各個不同功能區塊

• 抗高血壓藥物（Hypertension Drug Design Simulation Result）

抗高血壓藥物設計之模擬結果。觀測藥物分子結構（彩色） 與人體血液中蛋白質分子結構（藍色）中間之藥物鍵結（黃色），中間鏈結之好壞反應藥物之有效性。

抗高血壓藥物與人體組織的3D化學分子結構模擬圖

• 虛擬鼠 (Digital Mouse Project)

將實驗小鼠冷凍起來，再使用冷凍切片機將實驗小鼠以10微米厚度進行截面刨除，並以顯微照相技術進行截面影像拍攝，然後針對影像進行處理標記出各種器官構造，使用3D Engine進行容積顯像，以呈現出器官之三度空間相對位置與其真實顏色。提供動物研究人員在電腦上操作這些立體模組，做任意地翻轉、縮放，也可擷取任何一截面進行觀察分析。

使用Volume Rendering呈現彩色的老鼠器官。

互動操作的觀察，可以參考 Virtual Object Viewer 操作的版本。
（注意：需要較高的網路頻寬方可較順暢的操作）

• 台灣特有種老鼠下顎比較

國家實驗動物中心運用 Micro-CT 照射技術，就國內原生種哺乳動物進行骨骼系統掃描，如頭骨掃描，並建立數位資料庫。再以國網中心視算團隊開發的 MIIL 工具繪製出 3D 立體圖檔進行遺傳系譜分析。

綠色的下顎骨是高山白腹鼠，鼠科，而紅色的是高山田鼠，倉鼠科，比較這兩種不同的科別，我們發現鼠科高山白腹鼠臼齒咀嚼面有許多瘤突或成結節狀，排成前後三列之齒稜。也發現倉鼠科的高山田鼠臼齒由有根之低冠齒以至於不斷生長之高冠齒均有，臼齒咀嚼面有雙線齒稜，作多次曲折，此凹彼凸，交錯排列為內外二行。

使用Volume Rendering呈現老鼠的下顎。綠色的為高山白腹鼠;紅色的為高山田鼠。

互動操作的觀察，可以參考 Virtual Object Viewer 操作的版本：高山白腹、高山田鼠。
（注意：需要較高的網路頻寬方可較順暢的操作）

• 老鼠生長過程

由國家實驗動物中心提供 MicroCT 掃瞄老鼠取得兩天大的老鼠及兩週的的老鼠圖像，運用 MIIL 重組後所得的 3D 圖檔，可提供研究人員進行後續之分析比對及學術報告之製作。例如，可以觀測出兩天大之小鼠其頭骨尚未完全密合，其一片片頭骨間的縫隙較大。 

使用Volume Rendering呈現不同成長天數的老鼠。綠色的為2天大的老鼠;黃色的為2週大的老鼠。

-- TOP --

Medical Visualization

• 人腦神經纖維束（Human Brain and Neural Tracts）

     

人腦核磁共振攝影(MRI)影像與神經纖維束的整合顯示。此為生醫中心、臺大醫院影像醫學部與國網中心視算與互動媒體實驗室的合作計畫。在本計劃中，先將腦部白質、腫瘤的部分以影像處理的方式找出其大致的輪廓，並將腫瘤、人腦的MRI影像和神經纖維束的資料，個別以不同的技術，同時呈現在畫面中。同時，也引入了splitting-plane等技術，來加強在視覺上的呈現效果；如此，也能使用各種不同角度來觀察，讓醫師充分的瞭解各種神經束和腫瘤間的關係，在術前擬定完整的手術計畫，儘可能地切除腫瘤，同時避免對神經纖維束造成不必要的損傷。

This is a collaborative work among Biomedical Science Park Administrator, National Taiwan University Hospital (NTUH) and National Center for High-performance Computing (NCHC). The medical doctors intend to visualize the MRI image data of a human brain coupled with the neural fibers. The visualization and interactive media lab at NCHC processes the DICOM data from several medical imaging modalities, and segments the brain white matter tissue, tumor, and tracts. The displayed image below requires a image fusion process and has applied splitting-plane to enhance the visual effect. This 3D interactive visualization application allows the surgeons to have a better understanding of the patient before the operation.

	腦瘤、人腦、神經的混合顯示。黃色部分為腦瘤、紅色為腦部白質、線條為神經纖維束
	A snap shot of tumor, brain and fibers image fusion visualization. The yellow object is the tumor, the pink object is the brain and the colorful lines are the tracts.

• 立體影片下載 | Stereo Movie Download
   
• 互動操作的觀察，可以參考 Virtual Object Viewer 操作的版本。
  （注意：需要較高的網路頻寬方可較順暢的操作）

• Medical Image Illustrator（MIIL）

使用3D VR Engine與IMT工具程式庫開發出來之應用程式。可以處理醫療影像DICOM格式，並藉由二維與三維之呈現與量測工具，協助醫師進行診療與手術規劃。更多說明請點擊這裡。

MIIL的操作畫面

• 人體動脈瘤電腦斷層資料（Aneurysm CT）

動脈瘤視覺化展示。資料來源為 OsiriX 所提供的公開樣本資料，所使用的是名為「PANORAMIX」的腹腔資料。本展示是腹腔中各個組織強化與標示後之視覺化結果，也能驗證我們開發之Segmentation功能。

人體腹腔之Volume Rendering顯示，圖中紅色突起之部位為血管瘤

互動操作的觀察，可以參考 Virtual Object Viewer 操作的版本。
（注意：需要較高的網路頻寬方可較順暢的操作）

• 血管流場模擬（Blood Flow）

血管流場模擬結果，預測在放入支架後之血流狀況。

血管流場模擬結果

• 人體氣管重建（Reconstruction of Human Trachea）

從醫療影像中重建人體氣管網格模型，以協助氣管流場模擬。

人體肺部的氣管網格(Mesh)重建

• 人體腦部電腦斷層資料（Human Brain CT）

     

人腦與顱骨之視覺化展示。此為長庚腦神經外科與國網中心之合作計畫。我們負責影像處理、顱骨重建與視覺化呈現。

人體腦部電腦斷層3D Volume Rendering影像	使用不同Transfer function的人體腦部Volume Rendering影像	結合三個軸的2D電腦斷層影像顯示與3D Volume Rendering

• 肺癌電腦斷層資料（Lung Cancer CT）

     

胸腔資料視覺化展示。資料來源為長庚胸腔科。本展示以容積資料顯像技術清楚顯示骨架、肺部、氣管與肺癌，並提供三維空間中正確相對位置關係。

人體肺部電腦斷層Volume Rendering，圖中細小之紅色部位疑為腫瘤

-- TOP --

Scientific Visualization

• Real-time Interactive GPU flow simulation and visualization

Simulation: Dr. Matthew Smith;


Visualilzation: Visualization and Interactive Media Lab at NCHC.

Presented is compressible flow around an arbitrary shape.

In this case, a finite plane - for compressible flow of low mach number. The governing equations are the compressible Navier-Stokes equations for an ideal gas, solved using a Total Variable Diminishing (TVD) transient Finite Volume Method (FVM). The discretized form of these equations are solved in real-time using GPU.

In this case, using CUDA. Since the GPU is essentially a vector computer, the efficiency is improved through reformation of the governing expressions in vector and non-vector components. The fluxes across cell surfaces are computed as part of the vector computation through linearization of the flux terms. 

This linearization is achieved through estimation of neighbour states based on local conditions. The method, named SHLL, is accordingly very efficient on vector computation architectures and also well suited to modern CPU's with AVX extensions. Here, real-time visualization of the results is possible due to transformation of the CUDA variables used in the solution into OpenGL data directly. 

(This video is captured from a real-time simulation and visualizatio.)

• 視覺化大量且隨時間變化之容積資料(Visualize Large Time-Varying Volume)

     

本研究由交大資工Computer Graphics Geometry Modeling實驗室與國網中心視算與互動媒體實驗室合作完成，目的在於視覺化高解析度且隨時間變動之大型容積資料。我們使用多層次精細度 (Level-Of-Detail)的觀念處理旁大容積資料，再使用類似視訊的方法處理時間軸上資料的變化。此系統結合了Wavelet、Octree、 Motion Compensation、Hardware Texture Mapping、Spatial Region of Interest、Temporal Region of Interest、Caching、Pre-loading等方法，使得大型容積資料達到即時互動之播放效果。

註1：	This data set is made available by Dr. Jacqueline Chen at Sandia National Laboratory through SciDAV IUSV, and we re-sample this data set into 8 (2x2x2) times of the original.
註2：	本研究部分經費由國科會計畫 NSC 95-2221-E-492-007 支援。

Visualization of Turbulent Combustion Simulation

• 水流模擬（Water Flow Simulation）

     

高速電腦中心流體力學小組之水流模擬視覺化結果。我們將流體力學小組使用超級電腦所作之水流模擬計算，進行四維的動態視覺化展示。

水流模擬	不同效果的水流模擬呈現

• 裕隆汽車衝撞模擬（Yulon Car Crash Simulation）

裕隆汽車之物理碰撞模擬視覺化結果。此展示透過高速電腦計算裕隆汽車的物理碰撞模擬，然後將電腦所算出的模擬碰撞過程進行四維的動態展示。

裕隆汽車碰撞模擬的3D結果顯示

-- TOP --

Geographic Visualization

• 四川大地震前後影像比較 (Sichuan Earthquake - Image Comparison )

         

我們使用國家太空中心提供的二組四川衛星影像，分別攝於2006及2008年，來比較四川大地震前後的影像差異。原始資料除了影像資料外，還有從NASA 下載的SRTM資料(地震前)，可惜缺少地震後的地形資料，故無法比較地形的變化。資料經過座標校正及色彩融合後，得到高解析度的2m解析度彩色影像及 40m解析度的地形資料。我們將遙測影像結合地形資料，透過VIML的3D VR Engine所開發的terrain程式，建立出一個可即時互動的3D場景，在其中飛行，觀察影像的差異，發現地震所造成的影響，例如走山現象及堰塞湖的形成。

四川地震前(2006)	四川地震前的曲山鎮(2006)	四川地震前的張坪村(2006)
四川地震後(2008)	四川地震後的曲山鎮(2008)	四川地震後的張坪村(2008)

• 3D GIS台灣 (3D GIS Taiwan)video

     

結合地形幾何資料與衛星遙測影像之視覺化結果。由國家太空中心提供5公尺解析度全台地形幾何資料與2公尺解析度的全台衛星影像、中央氣象局提供颱風的雷達資料、國家災害防救科技中心提供淹水警戒區資料、中央大學太空遙測中心提供建築物與交通路線之二維資料，再將以上這些資料利用3D VR Engine作即時的顯示。高解析度的資料使觀看的細節大幅增加，但資料量同時也增加了，例如5公尺解析度的地形資料為40公尺解析度資料的64倍大。我們將二維的GIS資訊置入全台三維場景中做即時瀏覽，在氣象方面，可透過volume rendering技術將颱風的雷達影像以3D呈現，在防災方面，可讀取全台淹水警戒區的資料庫，將各警戒區域呈現在三維場景中。因為資料庫模組的開發，未來將可嘗試做各種防災資料的呈現。

呈現台北101建築物3D模型	呈現新竹科學園區建築物3D模型	東部花東縱谷及秀姑巒溪
使用volume rendering技術將賀伯颱風資料做3D展示	淹水警戒區域顯示	GIS資訊展示；綠線為高速公路，紅線為鐵路，紫線為高速鐵路

• 地質資料展示（Geological Terrain）

台灣地質與斷層資料的視覺化結果。原始資料是由中央地質調查所提供的全台地質資料，地震斷層資料與40M 全台地形幾何資料，利用3D VR Engine將地質資料與地形幾何資料結合顯示，並將地震斷層等平面圖資資料予以三維化放置入場景。

全台地質資料之3D瀏覽

• 濁水溪地形展示（Cho-Shui Basin）

     

濁水溪與陳有蘭溪附近的地形視覺化結果。原始資料是透過水保局所提供的5M濁水溪與陳有蘭溪周邊530*575共203塊地形資料與60cm空拍影像結合顯示，利用3D VR Engine作即時的地形瀏覽，可以觀察到空拍當時山坡上土石流的情況。

濁水溪與陳有蘭溪的周遭地形3D瀏覽

• 虛擬台灣（Virtual Taiwan）

             

全台的地形幾何資料與衛星遙測影像之視覺化結果。原始資料是透過中央大學太空遙測中心提供的40M 5022*9495全台地形幾何資料與6.25公尺的全台遙測影像，利用3D VR Engine作即時的全台顯示。我們也結合了一些GIS的平面圖資如公路、鐵路、河流、建築，將其三維化，置入整個全台三維瀏覽的場景。

全台之3D瀏覽	全台之3D瀏覽（英文版）

• 中山橋（Zhong-shan Bridge）

中山橋附近周遭的視覺化結果。此圖是將台北市中山橋的空拍校正後影像與台北市40公尺的地形資料疊合顯示。

中山橋地形之3D呈現

• 草嶺地形比較（Caoling Terrain Comparison）

921震央草嶺潭附近的遙測影像與地形資料結合的視覺化成果，同時顯示921地震前後的觀測結果，用以觀察地震前後痕G，用以觀察地震前後的地貌差異。

921地震前後草嶺的地形比較

• 921地震草嶺資料（921 Earth Quake for Caoling Terrain）

草嶺在921地震前與地震後所測量的40公尺地形重疊的視覺化成果。我們用線性內插產生地震前後之間的地形，進行四維的動態視覺化展示，藉以觀察921地震前後的地形變化。

921地震前後草嶺的網格地形比較

-- TOP --

Others

• 船舶設計模擬

     

中船委託NCHC科學視算實驗室，將新設計的船舶尾翼螺旋槳對於船身附近所產生的海水流場，用動態3D方式顯現。讓設計人員瞭解實際流力對船身的影響。


• 地震視覺表現/地震資料視覺模擬

         

由現任中央大學教授、地震中心研究員 陳浩維教授，提供地震波資料。將地震波以不同的Color-Maps與視覺展示方法呈現。曾經製作成VIDEO，獲選進入SIGGRAPH展示。
　

• QuickTime VR Scene

     

早期NII計畫中的示範應用（1995），以國網中心電腦機房為例，製作一個小型的QTVR導覽。


• 淡水河水理模擬

     

Immersadesk的應用範例，將淡水河的流場資訊使用CAVE5D程式庫，加上套疊的地理資訊建出虛擬場景。觀察者可以在場景中自由飛行導覽。

-- TOP --