Huellas dactilares de órganos espectrales para el aprendizaje automático

Scientific Reports volumen 12, Número de artículo: 11028 (2022) Citar este artículo

1978 Accesos

6 citas

14 Altmetric

Detalles de métricas

La discriminación visual del tejido durante la cirugía puede ser un desafío ya que los diferentes tejidos parecen similares al ojo humano. Las imágenes hiperespectrales (HSI) eliminan esta limitación al asociar cada píxel con información espectral de alta dimensión. Si bien el trabajo anterior ha demostrado su potencial general para discriminar tejidos, la traducción clínica se ha visto limitada debido a la actual falta de robustez y generalización del método. Específicamente, la comunidad científica carece de un atlas de tejido espectral integral, y se desconoce si la variabilidad en la reflectancia espectral se explica principalmente por el tipo de tejido en lugar de las condiciones de adquisición específicas o individuales registradas. La contribución de este trabajo es triple: (1) Basado en un conjunto de datos HSI médicos anotados (9059 imágenes de 46 cerdos), presentamos un atlas de tejidos con huellas dactilares espectrales de 20 órganos y tipos de tejidos porcinos diferentes. (2) Usando el principio de análisis de modelo mixto, mostramos que la mayor fuente de variabilidad relacionada con las imágenes HSI es el órgano bajo observación. (3) Mostramos que la diferenciación de tejido completamente automática basada en HSI de 20 clases de órganos con redes neuronales profundas es posible con alta precisión (> 95%). Concluimos de nuestro estudio que la discriminación automática de tejidos basada en datos HSI es factible y, por lo tanto, podría ayudar en la toma de decisiones intraoperatorias y allanar el camino para sistemas de cirugía asistida por computadora conscientes del contexto y robótica autónoma.

Discriminar las condiciones de los tejidos, las patologías y las estructuras críticas del tejido circundante sano durante la cirugía puede ser un desafío dado que los diferentes tejidos del cuerpo parecen similares al ojo humano. Mientras que las imágenes intraoperatorias convencionales están limitadas por la imitación del ojo humano, las imágenes hiperespectrales (HSI) eliminan esta restricción arbitraria de registrar solo los colores rojo, verde y azul (RGB). HSI funciona asignando a cada píxel de una imagen digital bidimensional convencional una tercera dimensión de información espectral. La información espectral contiene la intensidad de reflectancia específica de la longitud de onda de cada píxel. Esto da como resultado un cubo de datos tridimensional con dos dimensiones espaciales (x, y) y una tercera dimensión espectral (λ). HSI ha encontrado aplicación en diversos campos como la geología y los estudios marítimos, la agricultura, la industria alimentaria, la clasificación automatizada de desechos1,2 y recientemente se ha utilizado durante una misión espacial de la NASA en Marte.

En los últimos años, se han realizado grandes esfuerzos para implementar la tecnología HSI en el cuidado de la salud. Los ejemplos de posibles aplicaciones clínicas futuras incluyen la evaluación cuantitativa de la oxigenación tisular y la perfusión sanguínea3,4, inflamación y sepsis5, edema6 o malignidad7, así como la toma de decisiones asistida por computadora y la identificación automatizada de órganos8. Estos tienen el potencial de respaldar futuros desarrollos, como los sistemas de asistencia cognitiva intraoperatoria o incluso la automatización de la cirugía robótica. A pesar de la investigación prometedora, aún no se ha logrado la traducción clínica de la diferenciación automática de tejidos basada en HSI. Esto puede atribuirse a la falta actual de solidez y generalización, que son los requisitos más importantes para la aplicación clínica. En este sentido, quedan varias preguntas de investigación abiertas. Específicamente, la variabilidad de las mediciones de HSI puede resultar de las diferencias inherentes entre múltiples tipos de tejido bajo observación (efecto deseado), pero también de la variabilidad entre sujetos o la variabilidad en las condiciones de adquisición de imágenes (ambas no deseadas). No tenemos conocimiento de ningún trabajo anterior que haya investigado sistemáticamente este importante tema y, en última instancia, nuestro objetivo es proporcionar una comprensión profunda de los datos de órganos hiperespectrales, ilustrar el potencial de los análisis basados en HSI y presentar datos de referencia sólidos sobre los que se pueden desarrollar estudios adicionales.

Para la caracterización automática de tejidos basada en datos HSI, las siguientes dos propiedades son muy deseables: Primero, los espectros correspondientes a diferentes órganos deben diferir sustancialmente entre sí. Y segundo, los espectros del mismo órgano deben ser relativamente constantes en todas las condiciones de adquisición de imágenes e individuos. Con esto en mente y dado el vacío en la literatura señalado en la sección anterior, la contribución de este trabajo es triple:

Huellas dactilares espectrales: presentamos el primer análisis completo de las propiedades espectrales del tejido para una amplia gama de órganos fisiológicos y tipos de tejido en un modelo porcino. Basándonos en 9059 imágenes de 46 cerdos y 17 777 anotaciones, generamos huellas dactilares espectrales específicas para un total de 20 órganos.

Análisis de varianza: mostramos que la mayor parte de la varianza espectral puede explicarse por diferencias de órganos.

Clasificación de órganos y tejidos basada en aprendizaje automático con HSI: demostramos que una red neuronal puede distinguir entre clases de órganos con alta precisión (> 95 %), lo que sugiere que HSI tiene un alto potencial para la discriminación intraoperatoria de órganos y tejidos.

Este proyecto proporciona información sobre la reflectancia espectral de 20 órganos porcinos en un total de 9059 imágenes dentro de 46 animales (Fig. 1). Nuestros datos muestran que diferentes órganos presentan espectros característicos, por lo que se denominan "huellas dactilares" de órganos. Como se ve en las curvas de reflectancia específicas de los cerdos grises en la Fig. 1, la variación en las mediciones espectrales puede deberse no solo al órgano, sino también a los individuos y/o las condiciones de medición específicas. Por lo tanto, un objetivo clave de este trabajo fue cuantificar el efecto de las diferentes fuentes de variación.

Atlas de tejidos que comprende huellas dactilares espectrales de 20 órganos y tipos de tejidos específicos. Estómago (A = 39; n = 849), yeyuno (A = 44; n = 1546), colon (A = 39; n = 1330), hígado (A = 41; n = 1454), vesícula biliar (A = 28; n = 526), páncreas (A = 31; n = 530), riñón (A = 42; n = 568), bazo (A = 41; n = 1353), vejiga (A = 32; n = 779), epiplón (A = 23; n = 570), pulmón (A = 19; n = 652), corazón (A = 19; n = 629), cartílago (A = 15; n = 586), hueso (A = 14; n = 537), piel (A = 43; n = 2158), músculo (A = 15; n = 560), peritoneo (A = 28; n = 2042), vena cava (A = 15; n = 353), riñón con fascia de Gerota (A = 18; n = 393), líquido biliar (A = 13; n = 362). A indica el número de animales; n indica el número de mediciones en total. Los gráficos representan la reflectancia media (ℓ1 normalizada a nivel de píxel) de cerdos individuales (gris), así como la media general (azul) ± 1 desviación estándar (SD) (negro) con longitudes de onda de 500 a 1000 nm en el eje x y reflectancia en unidades arbitrarias en el eje y.

Para ilustrar la variabilidad del HSI resultante de los individuos y las condiciones de medición, se aplicó la incrustación de vecinos estocásticos distribuida en t (t-SNE)9 a nuestros datos normalizados ℓ1 (Fig. 2). Muestra que mientras ciertos tipos de tejido, como el bazo y el hígado, forman grupos muy aislados, otros órganos, como el estómago, el páncreas y el yeyuno, tienden a superponerse, lo que indica una menor distinguibilidad.

Visualización de similitud espectral con Stochastic Neighbor Embedding (t-SNE) distribuido en t como una herramienta de reducción de dimensionalidad no lineal en los datos normalizados ℓ1; un punto representa el espectro medio dentro de una región de interés (ROI) de un órgano en una imagen de un cerdo. Se puede observar que órganos como el bazo y el hígado forman racimos aislados, mientras que otros órganos como el yeyuno se solapan con el resto.

Para cuantificar el efecto de diferentes fuentes de variación, aplicamos modelos mixtos lineales en un subconjunto de datos altamente estandarizados obtenidos de 11 cerdos (P36–P46 como se ilustra en la Fig. 1 complementaria). El análisis se realizó en un primer momento para todos los órganos (fig. 3) y posteriormente estratificado por órgano (fig. 4). En el análisis de todos los órganos, en cada longitud de onda, la proporción de variación explicada10 en la reflectancia observada se descompuso en los componentes "órgano", "cerdo", "ángulo", "imagen" y "repetición", donde "ángulo" describe la proporción de variación explicada por el ángulo entre la superficie del órgano y el eje óptico de la cámara, "imagen" describe la proporción de variación explicada por diferentes mediciones tomadas desde diferentes posiciones de órganos en el mismo cerdo o variaciones en las áreas anotadas, y "repetición" describe la proporción de variación explicada por múltiples grabaciones de la misma imagen bajo idénticas condiciones de medición.

Fuentes de variación de datos hiperespectrales. (Proporción de) variabilidad en la reflectancia explicada por cada factor utilizando modelos mixtos lineales. Los factores incluyen "órgano", "cerdo", "ángulo", "imagen" y "repetición". Para cada longitud de onda registrada, se ajustó un modelo mixto lineal independiente con efectos fijos para los factores "órgano" y "ángulo", así como efectos aleatorios para "cerdo" e "imagen". La variación entre repeticiones estuvo dada por la variación residual. Cuanto mayor sea la proporción de variabilidad para "órgano", más reflectancia puede verse como característica del órgano. Las áreas sombreadas representan intervalos de confianza del 95 % (en puntos) basados en el arranque paramétrico. Los números representan la mediana a lo largo de las longitudes de onda.

Fuentes de variación de datos hiperespectrales estratificados por órgano. Análisis de variación explicado estratificado por órgano utilizando modelos mixtos lineales. Para cada órgano y longitud de onda, se ajustaron modelos mixtos lineales independientes con efectos fijos para "ángulo" y efectos aleatorios para "cerdo" e "imagen". La variación entre repeticiones viene dada por la desviación estándar residual explicada. Las áreas sombreadas representan intervalos de confianza del 95 % (en puntos) basados en el arranque paramétrico. Los números en cada subparcela representan la mediana a lo largo de las longitudes de onda.

Nuestro análisis se realizó para espectros medianos normalizados ℓ1. Nuestros resultados sugieren que el principal factor que influyó en la variación de los datos del HSI a través de las longitudes de onda fue el factor "órgano" con una proporción promedio de variabilidad explicada del 83,4 %. El factor "imagen" explicó el 13,8% de la variación en promedio, mientras que los otros factores solo explicaron una variación insignificante con 2,3% para "cerdo", 0,1% para "ángulo" y 0,2% para "repetición". Esto sugiere que los datos del HSI son mucho más característicos de los órganos que de los sujetos bajo observación u otros factores influyentes. El porcentaje en el que la variación en la reflectancia fue explicada por los componentes varió ligeramente a través de diferentes partes del espectro electromagnético registrado. La variabilidad explicada por los órganos disminuyó para longitudes de onda por debajo de 900 mientras que el cerdo y la imagen desempeñaron un papel cada vez mayor.

Al estratificar por órgano, la varianza de la reflectancia se descompuso en los mismos componentes, excepto "órgano". Según la Fig. 4, "ángulo" y "repetición" explican una parte insignificante de la variación en todos los órganos, excepto en el bazo, donde se puede observar alguna variación explicada del ángulo para algunas longitudes de onda. Para "cerdo" e "imagen", existen diferencias entre órganos. Para los órganos en los que todas las líneas están relativamente cerca de cero (por ejemplo, el estómago), hay poca heterogeneidad en la reflectancia entre diferentes imágenes y cerdos, por lo que estos órganos muestran las firmas espectrales de características de órganos más pronunciadas. Por otro lado, los órganos con mayores niveles de varianza explicada para los componentes "cerdo" e "imagen" (p. ej., vesícula biliar) tenían, en consecuencia, menos firmas espectrales características del órgano. Las clases de órganos con los niveles acumulativos más altos de curvas de varianza explicadas por factores distintos al "órgano" y, por lo tanto, las firmas espectrales menos características de los órganos en las observaciones fueron el bazo y la vesícula biliar (Texto complementario 3 y Tabla complementaria 1).

Para algunos órganos, como el corazón, la reflectancia varió mucho entre cerdos (valor para "cerdo" comparativamente alto), pero relativamente poco dentro de un cerdo (valor para "imagen" comparativamente bajo). Por lo tanto, las reflectancias medidas para los corazones fueron heterogéneas entre cerdos individuales. Por otro lado, para otros órganos, la heterogeneidad dentro de los cerdos (es decir, entre imágenes del mismo cerdo) fue algo mayor (valor de "imagen" alto) que entre cerdos (valor de "cerdo" bajo), por ejemplo, riñón con fascia de Gerota. Por lo tanto, la reflectancia medida para el riñón con fascia de Gerota tiende a ser homogénea entre cerdos individuales, pero una sola imagen de riñón con fascia de Gerota puede no ser confiable debido a la heterogeneidad dentro de un cerdo.

Se utilizó un enfoque basado en el aprendizaje profundo para clasificar las anotaciones de 20 clases de órganos de los espectros presentados anteriormente con una precisión promedio del 95,4 % ± 3,6 % en cerdos en un conjunto de prueba de reserva. Las clasificaciones erróneas son anotaciones de órganos que no han sido asignadas a la clase de órgano correcta, sino a una de las otras 19 clases y solo ocurrieron para 486 de 9895 anotaciones en el conjunto de prueba (Fig. 5). Si bien 16 de las 20 clases de órganos se clasificaron con una sensibilidad promedio de ≥ 90 % en todos los cerdos de prueba, la sensibilidad promedio más baja entre los cerdos de prueba se obtuvo para las clases de órganos vesícula biliar (74,0 %) y corazón (73,9 %), que fueron en promedio entre los cerdos se confunde más a menudo con la vejiga y el riñón, respectivamente. En todas las clases de órganos, la sensibilidad promedio fue de 93,0 % ± 6,3 %, mientras que la especificidad promedio fue de 99,8 % ± 0,2 % y se logró una puntuación F1 promedio de 92,3 % ± 6,5 %.

Resultados de la clasificación de órganos basada en el aprendizaje profundo. (a) matriz de confusión que se generó para un conjunto de prueba de espera que comprende 9895 anotaciones de 5293 imágenes de 8 cerdos que no formaban parte de los datos de entrenamiento. Las matrices de confusión se calcularon y se normalizaron por columna (es decir, se dividieron por la suma de la columna) por cerdo en función del número absoluto de anotaciones clasificadas (erróneamente). Estas matrices de confusión normalizadas se promediaron entre cerdos mientras se ignoraban las entradas inexistentes (p. ej., debido a la falta de órganos para un cerdo). Cada valor en la matriz representa la fracción promedio de anotaciones que se etiquetaron como la clase de columna y se predijeron como la clase de fila. Los números entre paréntesis representan la desviación estándar entre cerdos. Los valores cero no se muestran en la matriz de confusión para mejorar la visibilidad. Dado que pueden aparecer varios órganos en la misma imagen, la cantidad de anotaciones supera la cantidad de imágenes. (b) Imagen ejemplar con múltiples anotaciones de órganos por un experto. (c) Órganos clasificados mediante aprendizaje profundo.

La discriminación visual y la evaluación del tejido biológico no son triviales, ya que los diferentes tejidos y estructuras corporales a menudo parecen similares al ojo humano. Debido a que las imágenes ópticas convencionales durante la cirugía solo diferencian el rojo, el verde y el azul al imitar la visión humana, su beneficio intraoperatorio a veces es limitado. HSI, al no estar sujeto a esta restricción y abarcar mucha más información, es una modalidad de imagen excepcional con un gran potencial para la identificación y evaluación de tejidos. Aunque su uso actual en medicina está en constante aumento, no se ha explotado todo el potencial de esta modalidad de imagen. Esto puede atribuirse a preguntas de investigación abiertas sobre la solidez y la generalización de los datos del HSI.

Las propiedades estructurales del tejido causan diferencias en las características espectrales que pueden ser lo suficientemente significativas para su uso en la diferenciación adecuada de órganos y otras aplicaciones clínicas. Sin embargo, la literatura existente sobre mediciones espectrales se ha centrado principalmente en pigmentos biológicos específicos como la hemoglobina, la porfirina y la melanina11,12, y apenas ha abordado la complejidad de las características espectrales en varios tejidos y órganos. Aún así, hay abundantes publicaciones sobre las características espectrales de los órganos y podría decirse que formaron la base para la aplicación actual de HSI en cirugía. Sin embargo, la literatura actual tiene limitaciones con mediciones con menor resolución de longitud de onda13,14, material ex-vivo15 o mediciones con tecnología incompatible e incomparable que no permite la comparación entre diferentes estudios. Otras publicaciones son muy detalladas, pero proporcionan datos menos intuitivos que se centran en la dispersión óptica en lugar de la reflectancia o la absorbancia16. A pesar del gran beneficio que tales fuentes de literatura han brindado a nuestra comunidad16, hasta el día de hoy, no existe una base de datos sistemática o una investigación de espectros de reflectancia para una variedad de órganos fisiológicos en una cohorte más grande, ni para humanos ni para animales.

Los requisitos categóricos para una base de datos HSI médica espectral que sirva como trabajo de referencia son la precisión, la uniformidad y la comparabilidad del dispositivo de medición, que ha sido exigido por la comunidad HSI en años anteriores17. Si bien en décadas anteriores HSI no se podía encontrar en la medicina, se han realizado grandes esfuerzos para implementar esta tecnología en el cuidado de la salud en los últimos años. Sin embargo, la mayoría de los sistemas HSI desarrollados inicialmente eran prototipos hechos a sí mismos y soluciones caseras de varias instituciones de todo el mundo, que variaban en resolución espectral y rango, así como detectores y componentes ópticos utilizados17,18,19,20,21,22, 23,24,25,26,27. Si bien con estas soluciones provisionales se obtuvieron conocimientos muy interesantes para diversas aplicaciones médicas, carecían de estandarización y comparabilidad, ya que otros grupos de investigación tendrían que obtener las piezas individuales y construir estos dispositivos de medición por su cuenta17. Además, existe una gran variabilidad en, por ejemplo, rangos espectrales, iluminación, componentes ópticos como filtros y resolución espacial. Estos aspectos hicieron imposibles los ensayos clínicos sostenibles a gran escala y la investigación multicéntrica sistemática. Se pudo observar una gran variedad de dispositivos en cuanto a resolución espectral, detectores, dispositivos dispersivos y regiones espectrales cubiertas por diferentes dispositivos que van desde los 200 nm hasta los 2500 nm17.

El sistema de cámara HSI utilizado en este proyecto es el primer sistema comercialmente disponible y certificado médicamente que cumple con la mayoría de las demandas antes mencionadas; sin embargo, solo se puede registrar un rango de longitud de onda limitado (500–1000 nm) y el rango visible no está completamente cubierto. Si bien los sistemas HSI anteriores y menos estandarizados fueron eficientes para la investigación de preguntas de investigación específicas y aisladas, la reproducibilidad y generalización de los sistemas disponibles comercialmente promovieron notablemente un aumento en los esfuerzos de investigación relacionados con HSI. Un indicador de estos mayores esfuerzos de investigación se puede ver en el aumento del número de proyectos de investigación en los últimos años, incluidos estudios en animales con ratas28 y cerdos29,30,31,32, documentos de conferencias33,34, revisiones narrativas35,36,37 y otras publicaciones38,39. Con este nuevo sistema y sus ventajas, se ha vuelto a poner especial foco en los primeros ensayos clínicos con carácter exploratorio1,40,41,42,43,44,45,46,47,48,49,50,51,52,53, 54,55. Sin embargo, existen posibilidades novedosas que aún no han sido explotadas. Estos incluyen principalmente la caracterización espectral del tejido biológico y la complementación de una gran base de datos HSI médica con aprendizaje automático y aprendizaje profundo. Algunos estudios ya han caracterizado espectralmente aspectos individuales del tejido biológico, como las diferencias entre entidades cancerosas específicas y su tejido fisiológico relacionado56. Sin embargo, estos estudios se realizaron con mayor frecuencia con configuraciones no reproducibles o, a veces, se realizaron in vitro sin conocimiento de la perfusión tisular, lo que podría ser aceptable para tejidos braditróficos específicos, pero conduce a limitaciones en la aplicabilidad a la mayoría de los órganos típicamente bien perfundidos57. Además, la mayoría de los estudios existentes hasta ahora solo destacan aspectos médicos específicos y no amplían lo suficiente la comprensión general de las características espectrales de los tejidos.

Los principios de la diferenciación espectral de tejidos ya se han probado con éxito, sin embargo, solo en cirugía laparoscópica con escasa información multiespectral y, lo que es más importante, en menos clases de órganos58,59. La pregunta que impulsó el presente estudio fue si estas diferencias espectrales serían lo suficientemente fuertes como para ser detectadas por un sistema HSI y, posteriormente, lo suficientemente consistentes como para caracterizar los órganos y hacer factible la diferenciación de órganos.

Por primera vez, se aplicó HSI con el objetivo de (1) caracterizar sistemáticamente las propiedades espectrales de diferentes tipos de tejido en un modelo porcino, (2) analizar en qué medida estos espectros están influenciados por el tipo de órgano o tejido en comparación con efectos no deseados como como la variabilidad entre sujetos y las variaciones en las condiciones de adquisición de imágenes y (3) demostrar que la clasificación automática de tejidos basada en el aprendizaje automático, incluso con un número inusualmente alto de clases, se puede lograr con alta precisión. Se registró un número total de 20 órganos porcinos diferentes con HSI. La base de datos resultante comprende 9059 grabaciones con 17 777 regiones de órganos anotadas.

Las huellas dactilares espectrales de estos órganos se extrajeron en la Fig. 1 y se eligió t-SNE para evaluar visualmente la distinguibilidad de los respectivos espectros HSI (Fig. 2). Si bien las distancias euclidianas deben interpretarse con cautela en ilustraciones bidimensionales a partir de datos de alta dimensión, el agrupamiento y la superposición brindan una buena pista sobre la diferenciabilidad de los espectros subyacentes. Ahora era esencial evaluar hasta qué punto las diferencias en la reflectancia podrían atribuirse al órgano o, alternativamente, al cerdo individual o al ruido de otros factores definidos e indefinidos, ya que esto determinaría la utilidad general de los datos del HSI.

Los modelos mixtos lineales podrían mostrar que la mayor proporción de la variabilidad de la reflectancia espectral se atribuyó al factor "órgano" en lugar de "cerdo", "ángulo", "imagen" y "repetición". Esto sugiere que las contribuciones de las diferencias interindividuales y las condiciones de adquisición de imágenes estuvieron dominadas por las diferencias de órganos. Si bien las condiciones de adquisición de imágenes, como la iluminación, estaban altamente estandarizadas, se evitó conscientemente la sobreestandarización artificial para cumplir con las condiciones en la sala de operaciones real. De los otros factores que explican la variabilidad de la reflectancia espectral, la "imagen" fue el más relevante, lo que indica que diferentes regiones del mismo órgano tienen diferencias espectrales. Las posibles explicaciones de este hallazgo son la distribución no homogénea de los tejidos conectivos, los vasos sanguíneos y la fibrosis dentro de cada órgano, los diferentes niveles de volúmenes de sangre contenidos debido a la tensión en la superficie del tejido o el peristaltismo. Esta percepción explícita del factor de influencia "imagen" es muy relevante cuando se consideran posibles aplicaciones y ensayos intraoperatorios en la vida real, ya que, dependiendo de la profundidad del análisis, implica la necesidad de registrar diferentes áreas del órgano bajo investigación como lo hicimos nosotros. .

Un algoritmo de aprendizaje automático tuvo una precisión promedio de más del 95 % en un conjunto de pruebas independiente para identificar clases de órganos en regiones previamente anotadas, lo que convierte a este trabajo en una sólida prueba de concepto para la clasificación automática de tejidos con aprendizaje automático basado en datos HSI. Sin embargo, se debe considerar que la anotación automática de escenas semánticas podría presentar otro desafío. Además, solo consideramos el espectro medio de una región previamente anotada en una grabación, ignorando así la información de textura y contexto, que puede mejorar aún más la identificación de órganos. En particular, ya se pudieron lograr excelentes resultados de clasificación a pesar de limitar la entrada de la red neuronal a la reflectancia del órgano sin información de textura. Los órganos con una composición celular similar, como el estómago y el yeyuno, mostraron espectros de reflectancia similares, pero aún podían diferenciarse bien. Las clasificaciones erróneas ocurrieron principalmente entre vejiga y vesícula biliar, riñón y corazón o vena cava y hueso.

Además de la investigación de órganos fisiológicos, la investigación sistemática de estados patológicos es igualmente importante y necesita incluir isquemia tisular, estasis, inflamación y malignidad. El hecho de que estos estados de órganos no fisiológicos no puedan inducirse deliberadamente en pacientes por razones éticas requiere el uso de un modelo animal grande con características similares a las humanas y propiedades tisulares espectrales conocidas y marcó la razón para elegir un modelo porcino para el presente estudio, que proporciona una línea de base para futuros análisis de espectros de tejidos patológicos.

Para una interpretación adecuada de los resultados de este trabajo, se deben tener en cuenta ciertas limitaciones inherentes a la tecnología HSI. Una limitación es la resolución temporal relativamente baja de los sistemas HSI actuales con solo una grabación cada 30 s y alrededor de siete segundos de tiempo de grabación cada uno. Si bien se están desarrollando dispositivos más compactos y rápidos60, actualmente esta limitación reduce los posibles campos de aplicación. Sin embargo, no socava la validez de los datos presentados en este trabajo. En campos de aplicación que requieren una resolución temporal más alta, pero no necesariamente una resolución de longitud de onda de grano fino, las imágenes multiespectrales (MSI) ofrecen una solución61,62. MSI permite obtener imágenes casi a velocidad de video y lo más probable es que se pueda refinar sustancialmente cuando se toman en cuenta los conocimientos de la investigación de HSI.

Otra limitación de HSI es la profundidad de penetración de la luz generalmente corta y dependiente de la longitud de onda en el tejido biológico. Se tuvo que tener en cuenta el aumento de las profundidades de penetración entre 700 y 1000 nm al medir tejido con un grosor de menos de varios milímetros, como el epiplón. Por lo tanto, se aseguró mediante inspección visual que el epiplón solo se midió en sitios con suficiente espesor. La tomografía fotoacústica, una tecnología que puede penetrar más profundamente en el tejido biológico, podría ayudar a generar información adicional cuando se usa como complemento de HSI63.

Surgen otras limitaciones debido a la resolución espacial de solo 680 × 480 píxeles (ancho × alto). Los órganos con áreas de superficie más pequeñas, por ejemplo, la vesícula biliar, fueron más difíciles de anotar que otros, ya que había menos píxeles disponibles. Además de las limitaciones tecnológicas, la identificación de tejido presentada se basó en regiones de interés (ROI) previamente anotadas. La segmentación semántica de órganos deberá abordarse en futuros estudios.

Este trabajo es el primero en investigar sistemáticamente las propiedades espectrales y las relaciones de los órganos dentro de una gran cohorte de clases de órganos e individuos. Mediante el uso de un enfoque altamente estandarizado, pudimos extraer las huellas dactilares espectrales de cada órgano e investigar los factores que influyen en las propiedades espectrales. Pudimos proporcionar evidencia de que los tipos de tejido y no el animal individual o las condiciones de registro fueron el factor más influyente para el espectro de reflectancia, que es de suma importancia cuando se trata de evaluar el posible valor de HSI para aplicaciones médicas. Este estudio puede verse como un trabajo de referencia que allana el camino para una mayor evaluación espectral de los órganos (por ejemplo, estados patológicos del tejido), que requiere un conocimiento preciso de las características espectrales del tejido fisiológico. Las posibles aplicaciones futuras basadas en estos resultados incluyen el aumento de la toma de decisiones asistida por computadora, los sistemas de asistencia cognitiva intraoperatoria o incluso la automatización de la cirugía robótica. Se puede esperar que nuestro principal hallazgo de patrones de reflectancia dependientes de órganos se confirme en datos humanos. Para establecer firmemente HSI en la medicina clínica, será esencial traducir este estudio a datos humanos.

Este estudio animal fue aprobado por el Comité de Experimentación Animal del consejo regional de Baden-Württemberg en Karlsruhe, Alemania (G-161/18 y G-262/19). Todos los animales utilizados en el laboratorio experimental fueron manejados de acuerdo con las leyes alemanas para el uso y cuidado de animales, y de acuerdo con las directivas del Consejo de la Comunidad Europea (2010/63/EU) y las directrices ARRIVE64. Como organismo modelo se escogieron cerdos regulares (Sus scrofa domesticus) con un peso promedio de 35 kg4,65,66,67,68. Los datos de 46 cerdos se incluyeron en los análisis.

Según el estándar y el protocolo institucional, los cerdos se privaron de alimento 24 h antes de la cirugía con libre acceso al agua. Los cálculos farmacológicos adaptados al peso corporal se generalizan para un cerdo de 40 kg. La sedación inicial se realizó con una inyección intramuscular adaptada al peso del neuroléptico azaperona (Stresnil® 40 mg/ml de Elanco®) con 6 mg/kg (≈ 6 ml = 240 mg) 15 min antes de continuar con la manipulación para disminuir el estrés. A continuación, se estableció la sedación anal mediante la inyección intramuscular adaptada al peso de una combinación de benzodiazepina de acción corta midazolam (Midazolam-hameln® 5 mg/ml de hameln pharma plus gmbh®) con 0,75 mg/kg (≈ 6 ml = 30 mg) y ketamina. (Ketamin 10%® de Heinrich Fromme®) con 10 mg/kg (≈ 4 ml = 400 mg).

Tras el transporte al quirófano experimental, se implantaron dos catéteres iv de 18 G en las venas del oído y se impidió la coagulación con infusión de cristaloides a 300 ml/h (Sterofundin ISO® de B. Braun®). La intubación se realizó de forma convencional o mediante traqueotomía en caso de visibilidad laríngea reducida. La medicación utilizada durante la intubación en caso de producción excesiva de esputo o la medicación de respaldo general incluía atropina iv y propofol al 1%. Después de la intubación, se estableció ventilación controlada por presión y se logró una concentración alveolar mínima de 1,0 con sevoflurano®. La anestesia intraoperatoria se logró mediante narcosis balanceada con sevoflurane® y la combinación de midazolam 0,2 mg/kg/h iv (≈ 1,5 ml/h = 7,5 mg/h) y ketamina 8,75 mg/kg/h (≈ 3,5 ml/h = 350 mg/h) a razón de 5 ml/h. No se aplicaron agentes relajantes.

El monitoreo incluyó oximetría de pulso, capnometría y medición invasiva de la presión arterial a través de la arteria femoral para evitar la medición de datos falsos resultantes de problemas de circulación. La temperatura corporal fue monitoreada y mantenida con mantas térmicas controladas eléctricamente.

Se realizó laparotomía media para acceder a la cavidad abdominal. Se disecaron los ligamentos alrededor del hígado y el ligamento hepatogástrico y se movilizaron los órganos viscerales, incluida la eliminación de la cobertura de los riñones mientras se respetaban cuidadosamente los vasos. Se utilizaron tijeras, electrocauterio y dispositivos bipolares de sellado de vasos. Se insertó un catéter suprapúbico en la vejiga. Después de la cirugía, los cerdos fueron sacrificados con una aplicación iv rápida de 50 ml de solución de cloruro de potasio. La muerte se pronunció con una presión parcial de CO2 al final de la espiración por debajo de 8 mmHg.

Los cubos de datos hiperespectrales se adquirieron con el sistema TIVITA® Tissue (Diaspective Vision GmbH, Pepelow, Alemania), que es un sistema de imágenes de escaneo de escoba y la primera cámara hiperespectral comercialmente disponible para medicina. Proporciona una alta resolución espectral en el rango visible y en el infrarrojo cercano (NIR) de 500 a 995 nm en pasos de 5 nm, lo que da como resultado 100 bandas espectrales. Su campo de visión contiene 640 × 480 píxeles con una resolución espacial de aproximadamente 0,45 mm/píxel (Fig. 6). La distancia de la cámara al espécimen se controla a través de un sistema de orientación de luz roja y verde a unos 50 cm. Seis lámparas halógenas integradas directamente en el sistema de cámaras proporcionan una iluminación uniforme. La grabación dura alrededor de siete segundos.

Sistema de cámara hiperespectral. (a) Visualización de un cubo de datos hiperespectral tridimensional con x e y como dimensiones espaciales y z como dimensión hiperespectral. El contenido de información de reflectancia registrada de un píxel se visualiza como un ejemplo. (b) Sistema de cámara de tejido TIVITA®.

Las imágenes se registraron con una distancia de 50 ± 5 cm entre la cámara y los órganos. Para evitar distorsiones de los espectros de reflectancia medidos debido a la luz parásita, los registros de tejido se realizaron mientras las luces del quirófano estaban apagadas y las cortinas cerradas. Si bien la mayoría de los registros de cerdos se realizaron con un enfoque genérico para representar con precisión la realidad intraoperatoria, los registros para el análisis del modelo mixto se realizaron con un protocolo altamente estandarizado para un subconjunto de 11 cerdos (8 a 9 cerdos por órgano) (entre P36 y P46 como se indica en el Texto Suplementario 1). Este protocolo estandarizado incluye grabaciones de 3 repeticiones de exactamente la misma escena quirúrgica (efecto "repetición") desde 3 ángulos diferentes (efecto "ángulo") (perpendicular a la superficie del tejido, 25° de un lado y 25° del lado opuesto) para 4 posiciones/situs/situaciones de órganos diferentes (efecto "imagen") dando como resultado un total de 36 grabaciones para cada uno de los 20 órganos (8 a 9 cerdos por órgano) en un total de 11 cerdos. Los registros del líquido biliar se realizaron empapando líquido biliar en 5 compresas quirúrgicas apiladas, asegurándose de que no haya influencia del fondo. Para obtener una descripción general más amplia del conjunto de datos y un protocolo de registro esquemático para el subconjunto estandarizado, consulte la Fig. 1 complementaria y la Fig. 2 complementaria.

Todas las 9059 imágenes grabadas se anotaron manualmente con 20 clases de órganos diferentes, lo que resultó en 17 777 anotaciones de órganos (ya que varios órganos pueden estar contenidos en una imagen). Se pueden encontrar más detalles sobre la estrategia de anotación en el Texto complementario 4. Las anotaciones fueron realizadas por un experto médico y luego verificadas por otros dos expertos médicos. En caso de una anotación incorrecta, la anotación se rehizo colectivamente para esa grabación específica.

Antes del análisis, la información espectral se normalizó en ℓ1 a nivel de píxel para lograr una mayor uniformidad. Todos los análisis se basaron en espectros medianos que se calcularon en todos los píxeles contenidos en una anotación.

Python 3 se ha utilizado para la organización de datos, anotación, extracción de información y análisis. Los datos numéricos se han almacenado utilizando Excel. GraphPad Prism 8.4.1 y Python se han utilizado para pruebas y visualización estadísticas. Para el diseño de figuras se ha utilizado Affinity Designer 1.10.5.

La incrustación de vecinos estocásticos distribuidos en t (t-SNE)9 es un método de aprendizaje automático que se usa comúnmente para reducir la cantidad de dimensiones de datos de alta dimensión y se usó para visualizar los espectros de reflectancia característicos de cada órgano de cerdo. Esta herramienta de reducción de dimensionalidad no lineal ya ha demostrado ser valiosa para el análisis de datos de espectrometría de masas y HSI69 y fue elegida para la visualización ya que se ha mostrado particularmente prometedora para muestras biológicas en el pasado70,71. El algoritmo tiene como objetivo modelar variedades de datos de alta dimensión y produce incrustaciones de baja dimensión que están optimizadas para preservar la estructura de vecindad local de la variedad de alta dimensión9. En comparación con métodos lineales como PCA72 y LDA73, t-SNE conserva estructuras más relevantes de conjuntos de datos que tienen características no lineales. Por estas razones, se utilizó t-SNE para la reducción de la dimensionalidad.

Antes de optimizar los parámetros de t-SNE, el conjunto de datos completo que comprende 46 cerdos (9059 imágenes con 17 777 anotaciones) se preparó de la siguiente manera: se obtuvo un espectro de reflectancia característico para cada anotación mediante el cálculo de los espectros medianos de (previamente en píxeles- nivel ℓ1-normalizado) espectros de todos los píxeles en la anotación. En consecuencia, cada punto de datos representa la reflectancia de un órgano en una imagen de un cerdo. La visualización bidimensional del espectro de reflectancia del conjunto de datos completo se optimizó realizando una búsqueda aleatoria de los siguientes parámetros:

Parámetro 1: La exageración temprana, que controla qué tan apretados están los grupos naturales en el espacio original en el espacio incrustado y cuánto espacio habrá entre ellos. Se muestrearon 50 valores enteros aleatorios en el rango [5; 100].

Parámetro 2: La tasa de aprendizaje, que se utiliza en el proceso de optimización. Se muestrearon 100 valores enteros aleatorios en el rango [10; 1000].

Parámetro 3: La perplejidad, que está relacionada con el número de vecinos más cercanos para cada punto de datos a considerar en la optimización. Se muestrearon uniformemente 50 valores enteros equidistantes en el rango [2; 100].

La exageración temprana fue el primer parámetro optimizado por inspección visual de la representación bidimensional del conjunto de datos. A continuación, se optimizó la tasa de aprendizaje de la misma manera manteniendo constante la exageración inicial. Posteriormente, se optimizó la perplejidad manteniendo constantes los otros dos parámetros. Los valores óptimos para cada uno de los parámetros fueron 34 para la exageración temprana, 92 para la tasa de aprendizaje y 30 para la perplejidad.

Se utilizaron modelos mixtos lineales independientes para un análisis de variación explicado con el fin de evaluar el efecto de los factores influyentes en los cambios en el espectro. La (proporción de) la varianza explicada se obtuvo mediante la descomposición empírica de la variación explicada en la forma de componentes de la varianza del modelo mixto10.

Para el primer enfoque, para cada longitud de onda, se ajustó un modelo mixto lineal independiente con efectos fijos para "órgano" y "ángulo", así como efectos aleatorios para "cerdo" e "imagen". Más precisamente, para cada longitud de onda se ajustó el siguiente modelo (suprimiendo el índice de longitud de onda):

para la repetición k = 1,…,3 de la imagen j = 1,…,ni del cerdo i = 1,…, 11 (con ni el número de imágenes del cerdo i entre 84 y 228 y \(\sum\nolimits_{ i = 1}^{11} {n_{i} } = 1944\)). \(\alpha\) es un intercepto, \(organ_{ijk}^{T}\) es un vector fila de longitud 19 que indica el órgano de observación ijk (con categoría de referencia arbitraria "estómago") y \(\beta\ ) es un vector de efectos de órganos fijos correspondientes. De manera similar, \(\theta\) son efectos fijos para el ángulo ("25° desde un lado" y "25° desde el lado opuesto" para la categoría de referencia "perpendicular a la superficie del tejido"). \(\delta_{i} \sim N(0,\sigma_{\delta }^{2} )\) y \(\gamma_{ij} \sim N(0,\sigma_{\gamma }^{2} )\) son efectos aleatorios de imágenes y cerdos, respectivamente, que se supone que tienen una distribución normal independiente entre la variación de cerdos \(\sigma_{\delta }^{2}\) y entre la variación de imágenes \(\sigma_{\gamma }^{ 2} .\) Los residuos \(\varepsilon_{ijk} \sim N(0,\sigma_{\varepsilon }^{2} )\) capturan la variabilidad entre grabaciones repetidas de la misma imagen.

La proporción de variabilidad en la reflectancia explicada por cada factor se derivó como en10. "Repetición" representa la variabilidad residual, que aquí es la variabilidad dentro de la imagen (es decir, entre repeticiones). Los intervalos de confianza puntuales del 95% basados en bootstrapping paramétrico con 500 repeticiones indican la incertidumbre en las estimaciones.

Para el segundo enfoque con estratificación por órgano, se ajustaron modelos mixtos lineales independientes para cada órgano y longitud de onda con efectos fijos para "ángulo" así como un efecto aleatorio para "cerdo" e "imagen", es decir, para cada órgano y longitud de onda la misma Se ajustó el modelo indicado anteriormente excluyendo la covariable "órgano". Se representó la desviación estándar explicada de cada factor10. "Repetición" representa la desviación estándar residual explicada, que aquí es la variabilidad dentro de la imagen (es decir, entre repeticiones). Los intervalos de confianza puntuales del 95% basados en bootstrapping paramétrico con 500 repeticiones indican la incertidumbre en las estimaciones. Todos los análisis de modelos mixtos lineales se basaron en espectros de reflectancia mediana específicos de órganos de imagen que se obtuvieron calculando el espectro mediano de todos los espectros de píxeles dentro de una anotación.

Antes de entrenar la red de aprendizaje profundo, dividimos sistemáticamente el conjunto de datos que comprende 46 cerdos (9059 imágenes con 17 777 anotaciones) en un conjunto de datos de entrenamiento que consta de 38 cerdos (3766 imágenes con 7882 anotaciones) y un conjunto de prueba disjunto que consta de 8 cerdos (5293 imágenes con anotaciones 9895) como se indica en la figura complementaria 1. Estos 8 cerdos de prueba se seleccionaron al azar de los 11 cerdos estandarizados (P36–P46) con el único criterio de que cada clase de órgano esté representada por al menos un cerdo estandarizado en la prueba también como en el conjunto de datos de entrenamiento. Este criterio ya no se pudo cumplir al seleccionar más de 8 cerdos estandarizados.

El conjunto de prueba de retención se usó solo después de que se arreglaron la arquitectura de la red y todos los hiperparámetros. Se realizó una validación cruzada de dejar un cerdo fuera en el conjunto de datos de entrenamiento y las predicciones sobre el cerdo dejado fuera se agregaron para los 38 pliegues (46 menos 8) para obtener la precisión de la validación. Los hiperparámetros de la red neuronal se optimizaron en una extensa búsqueda en cuadrícula de modo que se maximizó la precisión de la validación. Una vez que se determinaron los hiperparámetros óptimos, evaluamos el rendimiento de la clasificación en el conjunto de prueba de retención al ensamblar las predicciones de las 38 redes (una para cada pliegue) mediante el cálculo del vector logit medio (los valores de entrada a la función softmax, consulte a continuación ) seguido de la operación argmax para recuperar la etiqueta final de cada anotación.

La clasificación basada en el aprendizaje profundo se realizó en los espectros medianos calculados a partir de los espectros normalizados ℓ1 de todos los píxeles en las máscaras de anotación, lo que resultó en vectores de características de entrada de 100 dimensiones. La arquitectura de aprendizaje profundo estaba compuesta por 3 capas convolucionales (64 filtros en la primera, 32 en la segunda y 16 en la tercera capa) seguidas de 2 capas completamente conectadas (100 neuronas en la primera y 50 en la segunda capa). Las activaciones de las cinco capas se normalizaron por lotes y se utilizó una capa lineal final para calcular los logits de clase. Cada una de las capas convolucionales convolucionó el dominio espectral con un tamaño de kernel de 5 y fue seguida por una capa de agrupación promedio con un tamaño de kernel de 2. Las dos capas completamente conectadas pusieron a cero sus activaciones con una probabilidad de abandono de \(p\). Todas las capas no lineales utilizaron la Unidad Lineal Exponencial (ELU)74 como función de activación.

Elegimos esta arquitectura porque proporciona una manera simple pero efectiva de analizar la información espectral. La operación de convolución actúa sobre la estructura local de los espectros y usamos un tamaño de núcleo relativamente pequeño y apilamos 3 capas para aumentar el campo receptivo mientras somos computacionalmente eficientes75. Las dos capas totalmente conectadas toman una decisión final basada en el contexto global. La ventaja de este enfoque es que combina la agregación de información local y global sin dejar de ser computacionalmente eficiente, ya que toda la red solo usa 34 300 pesos entrenables.

Se utilizó la función softmax para proporcionar la probabilidad a posteriori de cada clase. Usamos el optimizador de Adam (β1 = 0.9, β2 = 0.999)76 con una tasa de caída de aprendizaje exponencial (tasa de caída de \(\gamma\) y tasa de aprendizaje inicial de \(\eta\)) y la pérdida de entropía cruzada multiclase función. Para cumplir con los desequilibrios de clase, incluimos un peso opcional de la función de pérdida de acuerdo con la cantidad de imágenes de entrenamiento por clase e instancias muestreadas para los lotes, ya sea al azar o sobremuestreadas, de modo que cada clase de órgano tuviera la misma probabilidad de ser muestreada. Ambas opciones de diseño se investigaron en la búsqueda de cuadrícula de hiperparámetros.

Entrenamos 10 000 000 de muestras por época durante 10 épocas con un tamaño de lote de N. En una extensa búsqueda en cuadrícula, determinamos los hiperparámetros de mejor desempeño: probabilidad de abandono \(p* = 0.2(p \in \{ 0.1,0.2\} ) \), tasa de aprendizaje \(\eta * = 0.0001\;(\eta \in \{ 0.001, \;0.0001\} )\), tasa de decaimiento \(\gamma * = 0.9(\gamma \in \{ 0.75, 0,9, 1,0\} )\), tamaño de lote \(N* = 20 000\;(N \in \{ 20 000, \;40 000\} )\), una función de pérdida ponderada y sin sobremuestreo.

Evaluamos el rendimiento de nuestro modelo de aprendizaje automático mediante el cálculo de los siguientes valores métricos: se calculó un micropromedio, en el que todas las anotaciones contribuyen por igual al valor métrico obtenido, para la precisión. Para equilibrar las desigualdades en el número de grabaciones entre las clases de órganos (cf. Fig. 1 complementaria), se informaron adicionalmente valores métricos macropromediados. Más específicamente, para el cálculo de la sensibilidad media, la especificidad y la puntuación F1, primero se calcularon los valores métricos de forma independiente para cada clase de órgano y luego se promediaron.

Los datos y el código que respaldan los hallazgos de este estudio están disponibles de los autores correspondientes previa solicitud razonable.

Imágenes hiperespectrales

Imágenes multiespectrales

Administración Nacional de Aeronáutica y Espacio

Region de interes

Desviación Estándar

Incrustación de vecinos estocásticos distribuidos en T

Mascagni, P. et al. Nuevas tecnologías de imagen intraoperatoria: Innovando el ojo del cirujano hacia la precisión quirúrgica. J. Cirugía. oncol. 118, 265–282. https://doi.org/10.1002/jso.25148 (2018).

Artículo PubMed Google Académico

Prasad, S. & Chanussot, J. Análisis de imágenes hiperespectrales: avances en aprendizaje automático y procesamiento de señales (Springer, 2020).

Libro Google Académico

Barberio, M. et al. Angiografía de fluorescencia cuantitativa versus imágenes hiperespectrales para evaluar la isquemia intestinal: un estudio comparativo en realidad mejorada. Cirugía https://doi.org/10.1016/j.surg.2020.02.008 (2020).

Artículo PubMed Google Académico

Dietrich, M. et al. Imágenes hiperespectrales para la evaluación de la oxigenación del tejido microcirculatorio y la calidad de la perfusión en el shock hemorrágico: un estudio porcino. Biomedicinas 9, 1829 (2021).

Artículo CAS Google Académico

Dietrich, M. et al. Análisis basado en aprendizaje automático de imágenes hiperespectrales para el diagnóstico automatizado de sepsis. https://arxiv.org/abs/2106.08445v1 (2021).

Dietrich, M. et al. Imágenes hiperespectrales para el control perioperatorio de la oxigenación del tejido microcirculatorio y el contenido de agua del tejido en la cirugía pancreática: un estudio piloto clínico observacional. perioperatorio Medicina. (Londres.) 10, 42. https://doi.org/10.1186/s13741-021-00211-6 (2021).

Artículo Google Académico

Wu, CI et al. Identificación temprana de neoplasias escamosas esofágicas mediante imágenes endoscópicas hiperespectrales. ciencia Rep. 8, 13797. https://doi.org/10.1038/s41598-018-32139-1 (2018).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Clancy, NT, Jones, G., Maier-Hein, L., Elson, DS y Stoyanov, D. Imágenes espectrales quirúrgicas. Medicina. Anal de imagen. 63, 101699. https://doi.org/10.1016/j.media.2020.101699 (2020).

Artículo PubMed PubMed Central Google Académico

van der Maaten, LJP & Hinton, GE Visualización de datos de alta dimensión usando t-SNE. J. Mach. Aprender. Res. 9, 2579–2605 (2008).

Matemáticas Google Académico

Schreck, N. & Wiesenfarth, M. Descomposición de la variación explicada en el modelo mixto lineal. bioRxiv, 2019.2012.2028.890061. https://doi.org/10.1101/2019.12.28.890061 (2022).

Thunell, S. Porfirinas, metabolismo de porfirinas y porfirias I. Actualización. Escanear. J. Clin. Laboratorio. Invertir. 60, 509–540. https://doi.org/10.1080/003655100448310 (2000).

Artículo CAS PubMed Google Académico

Wilson, MT & Reeder, BJ Proteínas hemo que se unen al oxígeno. Exp. Fisiol. 93, 128–132. https://doi.org/10.1113/expphysiol.2007.039735 (2008).

Artículo CAS PubMed Google Académico

Leavesley, SJ et al. Escaneo de excitación de fluorescencia de imágenes hiperespectrales para la detección de cáncer de colon. J. Biomédica. Optar. 21, 104003. https://doi.org/10.1117/1.JBO.21.10.104003 (2016).

Artículo ADS PubMed PubMed Central Google Scholar

Zheng, W., Wang, C., Chang, S., Zhang, S. & Xu, RX Análisis de la segunda derivada hiperespectral de brecha ancha para la detección in vivo de neoplasia intraepitelial cervical. J. Biomédica. Optar. 20, 121303. https://doi.org/10.1117/1.Jbo.20.12.121303 (2015).

Artículo ADS PubMed Google Scholar

Hu, B., Du, J., Zhang, Z. & Wang, Q. Clasificación de tejido tumoral basada en tecnología micro-hiperespectral y aprendizaje profundo. biomedicina Optar. Expreso 10, 6370–6389. https://doi.org/10.1364/boe.10.006370 (2019).

Artículo PubMed PubMed Central Google Académico

Jacques, SL Propiedades ópticas de tejidos biológicos: una revisión. física Medicina. Biol. 58, R37–R61. https://doi.org/10.1088/0031-9155/58/11/r37 (2013).

Artículo ADS PubMed Google Scholar

Lu, G. & Fei, B. Imágenes médicas hiperespectrales: una revisión. J. Biomédica. Optar. 19, 010901 (2014).

Artículo ANUNCIOS Google Académico

Afromowitz, MA, Callis, JB, Heimbach, DM, DeSoto, LA & Norton, MK Imágenes multiespectrales de heridas por quemaduras: un nuevo instrumento clínico para evaluar la profundidad de las quemaduras. Trans. IEEE. biomedicina Ing. 35, 842–850. https://doi.org/10.1109/10.7291 (1988).

Artículo CAS PubMed Google Académico

Ferris, DG et al. Imágenes hiperespectrales multimodales para el diagnóstico no invasivo de la neoplasia cervical. J. Genito Inferior. Tracto Dis. 5, 65–72. https://doi.org/10.1046/j.1526-0976.2001.005002065.x (2001).

Artículo CAS Google Académico

Shah, SA et al. Análisis de heridas cutáneas mediante imágenes hiperespectrales. Biotécnicas 34, 408–413. https://doi.org/10.2144/03342pf01 (2003).

Artículo CAS PubMed Google Académico

Bambery, KR, Wood, BR, Quinn, MA & McNaughton, D. Imágenes infrarrojas por transformada de Fourier y agrupamiento jerárquico no supervisado aplicado a biopsias cervicales. agosto J. Chem. 57, 1139–1143. https://doi.org/10.1071/CH04137 (2004).

Artículo CAS Google Académico

Akbari, H., Kosugi, Y., Kojima, K. & Tanaka, N. Detección y análisis de la isquemia intestinal mediante imágenes hiperespectrales visibles e invisibles. Trans. IEEE. biomedicina Ing. 57, 2011–2017. https://doi.org/10.1109/TBME.2010.2049110 (2010).

Artículo PubMed Google Académico

Akbari, H. et al. Imágenes hiperespectrales y análisis cuantitativo para la detección del cáncer de próstata. J. Biomédica. Optar. 17, 076005 (2012).

Artículo ANUNCIOS Google Académico

Mitra, K. et al. Microglobos cargados con verde de indocianina para imágenes biliares en colecistectomía. J. Biomédica. Optar. 17, 116025 (2012).

Artículo ANUNCIOS Google Académico

Rosas, JG & Blanco, M. Un criterio para evaluar la distribución de homogeneidad en imágenes hiperespectrales. Parte 2: Aplicación de índices de homogeneidad a formas farmacéuticas sólidas. J. Pharm. biomedicina Anal. 70, 691–699. https://doi.org/10.1016/j.jpba.2012.06.037 (2012).

Artículo CAS PubMed Google Académico

Li, Q., Wang, Y., Liu, H. y Chen, Z. en la Conferencia internacional IEEE sobre informática e ingeniería de automatización (CSAE) 15–17 (2012).

Kumar, S., Desmedt, C., Larsimont, D., Sotiriou, C. & Goormaghtigh, E. Cambio en el microambiente del cáncer de mama estudiado por imágenes FTIR. Analista 138, 4058–4065. https://doi.org/10.1039/c3an00241a (2013).

Artículo ADS CAS PubMed Google Scholar

Grambow, E. et al. Imágenes hiperespectrales para el seguimiento de la falla de perfusión en la anastomosis microvascular en la extremidad trasera de la rata. Microvasc. Res. 116, 64–70. https://doi.org/10.1016/j.mvr.2017.10.005 (2018).

Artículo PubMed Google Académico

Barberio, M. et al. HYPerspectral Enhanced Reality (HYPER): una herramienta de orientación quirúrgica basada en la fisiología. Cirugía Endosc. 34, 1736–1744. https://doi.org/10.1007/s00464-019-06959-9 (2020).

Artículo PubMed Google Académico

Felli, E., Urade, T., Barberio, M., Felli, E. & Diana, M. Imágenes hiperespectrales de la isquemia del hígado porcino: una prueba de concepto. https://www.airitilibrary.com/Publication/alDetailedMesh?docid=15610497-201912-201912180004-201912180004-117-121 (2019).

Tetschke, F. et al. Imágenes hiperespectrales para monitorear los niveles de saturación de oxígeno durante la perfusión renal normotérmica. J. Sens. Sens. Sist. 5, 313–318. https://doi.org/10.5194/jsss-5-313-2016 (2016).

Artículo ANUNCIOS Google Académico

Níquel, F. et al. Optimización de la técnica de anastomosis y perfusión del conducto gástrico con imágenes hiperespectrales en un modelo experimental de esofagectomía mínimamente invasiva. bioRxiv. https://doi.org/10.1101/2021.10.03.462901 (2021).

Holmer A, Kaemmerer P, Kulcke A, Marotz J y Wahl P en AUTOMED.

Landro, MD y col. en la 41.ª Conferencia Internacional Anual de la Sociedad de Ingeniería en Medicina y Biología del IEEE (EMBC). 1851-1854 (2019).

Gockel, I. et al. Posibilidades y perspectivas de la imagen hiperespectral en cirugía visceral. Cirujano 91, 150-159. https://doi.org/10.1007/s00104-019-01016-6 (2020).

Artículo CAS PubMed Google Académico

Goetze, E., Thiem, DGE, Gielisch, M., Al-Nawas, B. & Kämmerer, PW Enfoques de digitalización e inteligencia artificial en cirugía facial reconstructiva microvascular. Cirujano 91, 216-221. https://doi.org/10.1007/s00104-019-01103-8 (2020).

Artículo CAS PubMed Google Académico

Maier-Hein, L. et al. Imágenes y visualización intraoperatoria. El oncólogo 26, 31–43. https://doi.org/10.1007/s00761-019-00695-4 (2020).

Artículo Google Académico

Holmer, A. et al. Monitoreo de oxigenación y perfusión con un sistema de cámara hiperespectral para análisis de tejido basado en químicos de piel y órganos. Fisiol. medida 37, 2064–2078. https://doi.org/10.1088/0967-3334/37/11/2064 (2016).

Artículo PubMed Google Académico

Markgraf, W., Feistel, P., Thiele, C. y Malberg, H. Algoritmos para mapear la oxigenación del tejido renal durante la perfusión normotérmica de la máquina usando imágenes hiperespectrales. biomedicina Ing. biomedicina tecnología 63, 557. https://doi.org/10.1515/bmt-2017-0216 (2018).

Artículo CAS Google Académico

Barberio, M. et al. Discriminación basada en hiperespectral de tiroides y paratiroides durante la cirugía. actual Dir. biomedicina Ing. 4, 399. https://doi.org/10.1515/cdbme-2018-0095 (2018).

Artículo Google Académico

Daeschlein, G. et al. Imágenes hiperespectrales como nueva herramienta de diagnóstico en microcirculación de heridas. clin. Hemorreo. Microcírculo 67, 467–474. https://doi.org/10.3233/ch-179228 (2017).

Artículo CAS PubMed Google Académico

Grambow, E. et al. Evaluación de la enfermedad arterial periférica con el sistema de cámara de imágenes hiperespectrales de tejido TIVITA(R). clin. Hemorreo. Microcírculo 73, 3–17. https://doi.org/10.3233/ch-199215 (2019).

Artículo PubMed Google Académico

Herrmann, BH & Hornberger, C. Simulación de Monte-Carlo de la interacción del tejido ligero en aplicaciones médicas de imágenes hiperespectrales. actual Dir. biomedicina Ing. 4, 275–278. https://doi.org/10.1515/cdbme-2018-0067 (2018).

Artículo Google Académico

Jansen-Winkeln, B., Holfert, N., Köhler, H., Chalopin, C. y Gockel, I. Determinación de la posición anastomótica ideal mediante imágenes hiperespectrales. Z. Gastroenterol. 57, 93. https://doi.org/10.1055/s-0039-1695193 (2019).

Artículo Google Académico

Jansen-Winkeln, B. et al. Determinación del margen de transección durante la resección colorrectal con imágenes hiperespectrales (HSI). En t. J. enfermedad colorrectal. 34, 731–739. https://doi.org/10.1007/s00384-019-03250-0 (2019).

Artículo PubMed Google Académico

Jansen-Winkeln, B. et al. puntada a mano v. Anastomosis con grapadora: vista hiperespectral de la perfusión. Z. Gastroenterol. 57, 91. https://doi.org/10.1055/s-0039-1695191 (2019).

Artículo Google Académico

Köhler, H., Jansen-Winkeln, B., Chalopin, C. & Gockel, I. Imágenes hiperespectrales como un nuevo método óptico para la medición de la perfusión del conducto gástrico. Dis. Esófago 32, 1. https://doi.org/10.1093/dote/doz046 (2019).

Artículo PubMed Google Académico

Kohler, H. et al. Evaluación de imágenes hiperespectrales (HSI) para la medición de los efectos de acondicionamiento isquémico del conducto gástrico durante la esofagectomía. Cirugía Endosc. 33, 3775–3782. https://doi.org/10.1007/s00464-019-06675-4 (2019).

Artículo PubMed Google Académico

Langner, I. et al. Las imágenes hiperespectrales demuestran los efectos microcirculatorios de la terapia ocupacional posoperatoria en pacientes con enfermedad de Dupuytren. Cirugía de la mano, microcirugía, cirugía plástica: Órgano del grupo de trabajo de habla alemana para cirugía de la mano: Órgano del grupo de trabajo de habla alemana para microcirugía de los nervios y vasos periféricos 51, 171-176. https://doi.org/10.1055/a-0916-8635 (2019).

Artículo Google Académico

Maktabi, M. et al. Clasificación de tejidos de resecciones esofágicas oncológicas basadas en datos hiperespectrales. En t. J. Cómputo. Asistir. Radiol. Cirugía 14, 1651-1661. https://doi.org/10.1007/s11548-019-02016-x (2019).

Artículo PubMed Google Académico

Marotz, J. et al. Estimación de parámetros de perfusión extendida a partir de datos de imágenes hiperespectrales para el diagnóstico de cabecera en medicina. Moléculas 24, 4164. https://doi.org/10.3390/molecules24224164 (2019).

Artículo CAS PubMed Central Google Académico

Marotz, J., Siafliakis, A., Holmer, A., Kulcke, A. y Siemers, F. Primeros resultados de un nuevo sistema de cámara hiperespectral para el análisis de heridas con base química. herida Med. 10–11, 17–22. https://doi.org/10.1016/j.wndm.2015.11.003 (2015).

Artículo Google Académico

Mohammed, RAA, Schäle, D., Hornberger, C. & Emmert, S. Detección de firmas en datos de imágenes hiperespectrales de heridas: un modelo compuesto de mapa autoorganizado y ajuste de mínimos cuadrados. actual Dir. biomedicina Ing. 4, 419–422. https://doi.org/10.1515/cdbme-2018-0100 (2018).

Artículo Google Académico

Sucher, R. et al. Imagen hiperespectral (HSI) en la resección anatómica del hígado izquierdo. En t. J. Cirugía. Caso Rep. 62, 108–111. https://doi.org/10.1016/j.ijscr.2019.08.025 (2019).

Artículo PubMed PubMed Central Google Académico

Zimmermann, P., Scheibe, A., Marotz, J. & Wollina, U. Análisis de la oxigenación tisular en úlceras crónicas de pierna mediante la combinación de una cámara multiespectral y una sonda hiperespectral. Med georgiana. Noticias 270, 75–81 (2017).

Google Académico

Maktabi, M. et al. Clasificación de tejidos de resecciones esofágicas oncológicas basadas en datos hiperespectrales. En t. J. Cómputo. Asistir. Radiol. Cirugía https://doi.org/10.1007/s11548-019-02016-x (2019).

Artículo PubMed Google Académico

Filatova, S., Shcherbakov, I. & Tsvetkov, V. Propiedades ópticas de tejidos animales en el rango de longitud de onda de 350 a 2600 nm. J. Biomédica. Optar. 22, 035009 (2017).

Artículo ANUNCIOS Google Académico

Zhang, Y. et al. Clasificación de tejidos para la comprensión de imágenes laparoscópicas basada en análisis de textura multiespectral. J.Med. Imágenes (Bellingham) 4, 015001. https://doi.org/10.1117/1.JMI.4.1.015001 (2017).

Artículo Google Académico

Moccia, S. et al. Clasificación de órganos consciente de la incertidumbre para aplicaciones de ciencia de datos quirúrgicos en laparoscopia. Trans. IEEE. biomedicina Ing. 65, 2649–2659. https://doi.org/10.1109/TBME.2018.2813015 (2018).

Artículo PubMed Google Académico

Ayala, L. et al. Imágenes multiespectrales de velocidad de video en cirugía laparoscópica: primera aplicación en humanos. https://arxiv.org/abs/2105.13901 (2021).

Wirkert, SJ et al. 134–141 (Springer).

Wirkert, SJ et al. Estimación robusta casi en tiempo real de parámetros fisiológicos a partir de imágenes multiespectrales de megapíxeles con Monte Carlo inverso y regresión de bosque aleatorio. En t. J. Cómputo. Asistir. Radiol. Cirugía 11, 909–917. https://doi.org/10.1007/s11548-016-1376-5 (2016).

Artículo PubMed PubMed Central Google Académico

Gröhl, J. et al. Segmentación semántica de imágenes fotoacústicas multiespectrales mediante aprendizaje profundo. https://arxiv.org/abs/2105.09624 (2021).

Kilkenny, C., Browne, W., Cuthill, IC, Emerson, M. & Altman, DG Investigación con animales: informes de experimentos in vivo: las pautas ARRIVE. Hermano J. Pharmacol. 160, 1577–1579. https://doi.org/10.1111/j.1476-5381.2010.00872.x (2010).

Artículo CAS PubMed PubMed Central Google Scholar

Kenngott, HG et al. Efectos de la laparoscopia, laparotomía y fase respiratoria sobre el volumen hepático en un modelo porcino vivo para resección hepática. Cirugía Endosc. 35, 7049–7057. https://doi.org/10.1007/s00464-020-08220-0 (2021).

Artículo PubMed PubMed Central Google Académico

Níquel, F. et al. Análisis por tomografía computarizada del movimiento de órganos causado por la respiración y el neumoperitoneo intraoperatorio en un modelo porcino para esofagectomía mínimamente invasiva navegada. Cirugía Endosc. 32, 4216–4227. https://doi.org/10.1007/s00464-018-6168-2 (2018).

Artículo PubMed Google Académico

Níquel, F. et al. Sistema de navegación para esofagectomía mínimamente invasiva: estudio experimental en un modelo porcino. Cirugía Endosc. 27, 3663–3670. https://doi.org/10.1007/s00464-013-2941-4 (2013).

Artículo PubMed Google Académico

Gehrig, T. et al. Comparación de diferentes técnicas quirúrgicas en pancreatectomía distal: un estudio experimental en un modelo porcino. Cirugía innovador 18, 329–337. https://doi.org/10.1177/1553350610395032 (2011).

Artículo PubMed Google Académico

Gardner, W., Cutts, SM, Phillips, DR y Pigram, PJ Comprensión de las imágenes de espectrometría de masas: de la complejidad a la claridad con el aprendizaje automático. Biopolímeros 112, e23400. https://doi.org/10.1002/bip.23400 (2020).

Artículo CAS PubMed Google Académico

Kobak, D. & Berens, P. El arte de usar t-SNE para la transcriptómica unicelular. Nat. común 10, 5416. https://doi.org/10.1038/s41467-019-13056-x (2019).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Cieslak, MC, Castelfranco, AM, Roncalli, V., Lenz, PH y Hartline, DK t-Distributed Stochastic Neighbor Embedding (t-SNE): una herramienta para el análisis transcriptómico ecofisiológico. Mar. Genomics 51, 100723. https://doi.org/10.1016/j.margen.2019.100723 (2020).

Artículo PubMed Google Académico

Tipping, ME & Bishop, CM Análisis probabilístico de componentes principales. Estado JR. Soc. Ser. B (Stat. Methodol.) 61, 611–622. https://doi.org/10.1111/1467-9868.00196 (1999).

Artículo MathSciNet MATEMÁTICAS Google Académico

Hastie , T. , Tibshirani , R. & Friedman , J. Los elementos del aprendizaje estadístico 2.ª ed. (Primavera, 2008).

Matemáticas Google Académico

Clevert, D.-A., Unterthiner, T. & Hochreiter, S. Aprendizaje de red profundo rápido y preciso mediante unidades lineales exponenciales (ELU). http://arxiv.org/abs/1511.07289 (2016).

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. y Wojna, Z. en la Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR). 2818–2826 (2016).

Kingma, DP & Ba, J. Adam: Un método para la optimización estocástica. https://arxiv.org/abs/1412.6980 (2014).

Descargar referencias

Los autores agradecen a Minu Tizabi (IMSY, DKFZ) por revisar el manuscrito y agradecen al servicio de almacenamiento de datos SDS@hd apoyado por el Ministerio de Ciencia, Investigación y Artes de Baden-Württemberg (MWK) y la Fundación de Investigación Alemana (DFG) a través de Otorgamiento INST 35/1314-1 FUGG e INST 35/1503-1 FUGG. La presente contribución cuenta con el apoyo de la Asociación Helmholtz bajo la escuela de investigación conjunta HIDSS4Health (Helmholtz Information and Data Science School for Health). Este proyecto recibió financiación del Consejo Europeo de Investigación (ERC) en el marco del programa de investigación e innovación Horizonte 2020 de la Unión Europea (NEURAL SPICING, Grant Agreement No. [101002198]), así como de la fundación Willi Robert Pitzer, de la Fundación de Cirugía de Heidelberg. y del programa RISE del Servicio Alemán de Intercambio Académico (DAAD). Las imágenes representadas en las figuras fueron dibujadas por los autores. La imagen del sistema TIVITA® Tissue se ha puesto a disposición con la amable aprobación de Diaspective Vision.

Financiamiento de acceso abierto habilitado y organizado por Projekt DEAL.

Departamento de Cirugía General, Visceral y de Trasplante, Hospital Universitario de Heidelberg, Im Neuenheimer Feld 420, 69120, Heidelberg, Alemania

Alexander Studier-Fischer, Berkin Özdemir, Jan Odenthal, Samuel Knödler, Caelan Max Haney, Gabriel Alexander Salg, Hannes Götz Kenngott, Beat Peter Müller-Stich y Felix Nickel

División de Sistemas Médicos Inteligentes, Centro Alemán de Investigación del Cáncer (DKFZ), Heidelberg, Alemania

Silvia Seidlitz, Jan Sellner, Leonardo Ayala, Tim Julian Adler, Klaus Maier-Hein y Lena Maier-Hein

HIDSS4Health – Escuela de ciencia de datos e información de Helmholtz para la salud, Karlsruhe, Heidelberg, Alemania

Silvia Seidlitz, Jan Sellner, Klaus Maier-Hein, Lena Maier-Hein y Felix Nickel

División de Computación de Imágenes Médicas, Centro Alemán de Investigación del Cáncer (DKFZ), Heidelberg, Alemania

Jan Sellner, Klaus Maier-Hein y Lena Maier-Hein

División de Bioestadística, Centro Alemán de Investigación del Cáncer (DKFZ), Heidelberg, Alemania

Manuel Wiesenfarth, Nicholas Schreck y Annette Kopp-Schneider

Departamento de Urología, Facultad de Medicina de Mannheim, Universidad de Heidelberg, Mannheim, Alemania

Karl Friedrich Kowalewski

División de Biología e Ingeniería Biológica, Instituto de Tecnología de California, Pasadena, EE. UU.

isabella camplisson

Departamento de Anestesiología, Hospital Universitario de Heidelberg, Heidelberg, Alemania

Maximiliano Dietrich

Departamento de Anestesiología y Medicina de Cuidados Intensivos, Hospital Universitario de Essen, Essen, Alemania

Karsten Schmidt

Facultad de Matemáticas e Informática, Universidad de Heidelberg, Heidelberg, Alemania

Tim Julian Adler y Lena Maier-Hein

También puede buscar este autor en PubMed Google Scholar

ASF, FN y BPMS tuvieron la idea original del proyecto. ASF y FN iniciaron el proyecto. ASF, FN y CMH realizaron la revisión inicial de la literatura existente y la planificación. ASF, CMH, KFK, B.Ö., MD, BPMS y FN realizaron las cirugías. ASF, IC, B.Ö. y JO desarrolló los códigos Python para la organización y anotación de datos. Datos anotados de ASF, GAS y SK. ASF, GAS, B.Ö., JO, SK, KFK, SS, LA, JS, LMH, TA y MW analizaron e interpretaron los datos. LMH, TA, LA, SS, JS, MW, NS, AKS y ASF desarrollaron e implementaron la estrategia de análisis de datos basada en aprendizaje automático y estadístico. LA proporcionó el análisis t-SNE y los pasajes manuscritos relevantes. MW, NS y AKS proporcionaron el análisis del modelo mixto, el modelo estructurado y los pasajes del manuscrito pertinentes. SS y JS proporcionaron la clasificación basada en el aprendizaje automático y los pasajes del manuscrito relevantes. FN, LMH, HGK, KMH, KS y BPMS proporcionaron conocimientos especializados durante todo el proyecto. ASF, B.O. y FN escribió el manuscrito. SS, JS, LA, MW, BPMS, HGK, KMH y LMH revisaron el manuscrito. Todos los autores han leído y aprobado el manuscrito final.

Correspondencia a Felix Nickel.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Studier-Fischer, A., Seidlitz, S., Sellner, J. et al. Huellas dactilares de órganos espectrales para la clasificación de tejido intraoperatorio basada en aprendizaje automático con imágenes hiperespectrales en un modelo porcino. Informe científico 12, 11028 (2022). https://doi.org/10.1038/s41598-022-15040-w

Descargar cita

Recibido: 04 febrero 2022

Aceptado: 16 junio 2022

Publicado: 30 junio 2022

DOI: https://doi.org/10.1038/s41598-022-15040-w

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Endoscopia Quirúrgica (2023)

Revista escandinava de trauma, reanimación y medicina de emergencia (2022)

Endoscopia Quirúrgica (2022)

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.

Blog

Huellas dactilares de órganos espectrales para el aprendizaje automático