Pruebas sobre la Superficie

2019-12-30 / Rob Spearman / Terrain

Esta entrada del blog es un poco diferente de lo habitual para darte un vistazo entre bastidores de algunas de las pruebas sobre procesamiento de datos en el domo.

Hace unos meses lanzamos la versión 2.0 de nuestros conjuntos de datos de terreno adicionales: Colección del Sistema Solar y de Toda la Tierra. Esta nueva generación está completamente preinstalada para un inicio inmediato y una carga rápida. Todos los datos se almacenan en unidades de estado sólido (SSD) para un máximo rendimiento. (Para los clientes con nuestros conjuntos de datos 1.0 recomendamos una actualización gratuita de datos a 2.0.)

Debido a que los datos son locales a su sistema de planetario no tiene que hacer vuelo para precargar nada, y no se retrasará por las velocidades de la red o problemas del servidor. Los planetarios portátiles pueden utilizar completamente el terreno fuera de línea. Otro beneficio es no tener que pagar continuamente por el acceso al servidor.

El conjunto de datos de toda la Tierra incluye imágenes de hasta 15 metros por píxel (mpp), junto con topografía de alta resolución, luces nocturnas, nubes y un mapa de la superficie marina (para reflejos). Usar el conjunto de datos es realmente tan simple como enchufar un disco y volar a donde quieras con un mando de juego inalámbrico.

Arriba hay un corto video de vista domo de un usuario volando en vivo alrededor del Estado de Washington, pasando por el Monte Rainier, y terminando sobre nuestra ciudad natal de Bremerton.

A menudo sobrepasamos los límites de las herramientas comunes debido a los enormes conjuntos de datos que estamos procesando. A menudo las herramientas funcionan bien, pero sólo para pequeños conjuntos de datos. Los desarrolladores nunca consideraron la necesidad de procesar un planeta entero, o todo el cielo en lugar de sólo una ciudad o una nebulosa.

Convertir una sola capa de imágenes de la Tierra de 15mpp iba a llevar más de un año con la herramienta estándar que estábamos usando. El tiempo estimado para completarlo se mostró en segundos, así que puedes imaginarte lo fuera de lo esperado que estábamos para el creador de la herramienta. Tuvimos que crear un paralelo creativo del proceso y salir de los SSD, lo que te sorprenderá saber que fue demasiado lento. Los SSD más comunes todavía usan la interfaz SATA III. Este era un proceso intensivo de E/S, por lo que la velocidad de lectura/escritura en bruto era lo más importante para nosotros. NVMe utiliza una interfaz PCI-express mucho más rápida. Aquí hay una comparación del ancho de banda:

DriveRead/Write Speed
SATA III mechanical~100 MB/s
SATA III SSD~500 MB/s
NVMe SSD~3500 / 3000 MB/s

Al final conseguimos que esta única capa se procesara en sólo un mes usando un disco NVMe. Los conjuntos de datos del terreno resultantes son enormes, casi 4 TB de tamaño.

En conclusión? Nada es fácil con grandes datos, y los tamaños de los conjuntos de datos siguen creciendo y las herramientas de procesamiento, así como el hardware.

About the Author

Rob is President and co-founder of Digitalis. He spends his time between product development and management responsibilties.

Share This Article

Older News

News Archive