Robotika.cz » Soutěže » DARPA Triage Challenge » Phase 1

DTC Phase 1

Autor: Martin Dlouhý, 2023-10-13

jak zvýšit šance na přežití?

DARPA přišla s novou „výzvou”/soutěží: DARPA Triage Challenge. Triage znamená třídění raněných u hromadných neštěstí, přírodních katastrof nebo na bojišti. V zásadě jde o to, že podle úrovně zranění šance na přežití rychle klesá. Mluvíme o zhruba o prvních 15 minutách. Naděje, že v tomto čase bude dostatek kvalifikovaných doktorů je mizivá. Tak nastupují roboti a AI. Update: 5/10/2024 — Challenge Event 1 - výsledky

https://triagechallenge.darpa.mil/ — oficiální stránky soutěže

DARPA Triage Challenge má podobný časový rozvrh jako již ukončená SubT Challenge. Soutěž bude trvat 3 roky, jsou tři základní kategorie (Primary System, Primary Virtual a Secondary Data) a účastníci jsou jak DARPA sponzorované týmy, tak self-funded týmy.

Obsah

Blog

13. října 2023 — Tým Robotika se úspěšně kvalifikoval do Virtual Challenge

Už je to tu zase. Tentokrát v tom nejedu já, ale hlavní „hybatel” je František Brabec (viz např. jeho úspěchy v NASA Space Robotics Challenge 2). Tým je česko-americký a doktorsko-programátorský. Jelikož roboti tady mají hrát až druhé housle, a komplikací s převážením robotů přes Atlantik jsme si užili až dost, zvolil Franta jenom virtuální kategorii (+ Data Challenge). Kvalifikace do virtuální proběhla bez problémů (asi i pomohl odkaz na SRC2 a SubT).

Triage Virtual Challenge (zdroj DARPA)

Data Challenge je zatím stále ve fázi přihlášky — po vyplnění přihlašovacího formuláře dostanete „domácí úkol”. Jedná se o data více jak 3000 měřených osob a máte je co nejlépe zařadit do věkových kategorií. Uvidíme, kostky jsou již vrženy.

9. listopadu 2023 — Challenge Kick-Off

Tento týden byla oficiálně zahájena DARPA Triage Challenge dvoudenním „kick-off meetingem” Pokud by někoho zajímaly detaily, tak jsou k dispozici prezentace v DTC resources sekci. Pokud by jste ale hledali pravidla soutěže, tak ty jsou zatím Coming Soon … mimochodem, pokud jste stránky navštívili třeba předevčírem, tak dnes mají úplně jiný vzhled.

Zákládní rámec je stále stejný: Primary Challenge je o lokalizaci raněných a rychlé klasifikaci závažnosti zranění. Nově přibyly podrobnosti co se má zjišťovat - zda osoba dýchá, zda mrká, jestli nekrvácí, stupeň popálení, jestli má všechny končetiny atd. Každý rok bude týdenní soustředění, kde raněné budou hrát jak skutečné osoby, tak figuríny. Primary Challenge se dělí na System a Virtual, podobně jako bylo u SubT Challenge, ale s tím rozdílem, že Virtual DARPA nesponzoruje. Co mi přišlo drsné bylo, že ve virtuálu chtějí modelovat situace, které by v realitě už byly mimo DARPA možnosti.

Secondary Challenge nebo také Data Challenge je o následné péči a sledování pacienta. Zatímco v Primary Challenge se roboti (typicky drony) nesmí k raněným přiblížit více jak metr (asi aby jim v rámci testování ještě více neublížili), tak v Secondary Challenge jsou osoby naopak na přístroje napojeny a „sbírají data”. Úkolem je průběžně vyhodnocovat co se pravděpodobně stane následující 4 hodiny. Jedná se o potenciálně netriviální množství dat a v reálném (resp. omezeném) čase je třeba situaci vyhodnotit. Toto vše v několika časových úsecích, tj. algoritmus postupně dostavá více a více dat. Kdo nejlépe odhadne budoucnost vyhrál.

vyhodnocení odpovědí v Data Challenge

Převzato z APL-20231016_Metrics_Phase1_KO-Distar approved_final.pptx.

Franta (šéf Robotika International týmu) celkem racionálně vyhodnotil, že reální roboti jsou mimo naše současné možnosti (a to jsme ani nevěděli o nutnosti mít pilotní zkoušky v USA a pořádné pojištění), takže nás registroval na Primary Virtual a Data. První registrace prošla celkem snadno — jednak to bude „strašné maso” (tj. se tam asi týmy moc nehrnou) a dále za sebou máme nějaké úspěchy v SubT a NASA SRC2. Tuto informaci jsem nakonec nezveřejnil, protože nebyla DARPA oficiální. To se ale po kick-off změnilo, viz https://www.darpa.mil/news-events/2023-11-07. Tady mi přišlo vtipné to, že jsem si toho při prvním čtení ani nevšiml - koukal jsem, že bývaly BARC tým získal grant a stejně tak např. Kitware … Kitware Secures $11.5M, Multi-Year DARPA Contract to Teach AI How to Make Difficult Decisions Aligned with Humans … jj, nějaké drobné … i když to je asi nějaký jiný DARPA program ale nejspíše s nenulovým přesahem.

Ještě poznámka, že na Data Challenge, která je kombinovaná se sponzorovanými týmy, je výběr komplikovanější a zatím jsme neuspěli, resp. je to stále v procesu (mimochodem datum konce kvalifikace týmů posunuli na 27. listopadu 2023).

Primary Challenge - Virtual

Pro první rok Primary Virtual se očekává relativně statická scéna jako je např. vlakové neštěstí:

vykolejení vlaku

Foto převzato z veřejně dostupné prezentace DTC_Kickoff_VirtualTestbed_ARA-amended.pptx.

Na druhou stranu jsem se musel usmát, jak mají „po americku” nastavené generátory na všechny možné typy lidí, barvy pleti a pohlaví:

generátor avatarů

Pokud jste drsnější nátury a zajímají vás schopnosti renderingu v Unreal Engine, tak viz DARPA-Challenge-23-MMSIV-Manikin-Capabilites-poster.pdf … ale spíše nedoporučuji k jídlu …

Secondary Challenge - Data

Data Challenge na druhou stranu tak děsivě nevypadá (resp. záběry z kamery budou k dispozici až později, druhý nebo třetí rok) — prostě řady nějakých čísel. Zajímavé bylo, jak se k těm kritickým scénářům DARPA dostala: ve dvou velkých nemocnících nainstalovali sběr dat do záchranářských vrtulníků, které létají opravdu jen k nejhorším případům.

RITMO projekt

Převzato z DTC Kickoff UPitt.pptx.

Oficiální zahájení bylo proloženo několika přednáškami, proč je triage/třídění tak důležité. Asi nejvíce mne zaujala poslední prezentace zachranářské akce z Grand Teton National Park (tam jsem se chtěl vždy podívat), kde se jeden den rychle změnilo počasí a 3 skupiny lidí (celkově 17 lidí) bylo s ruznými stupni v kritickém ohrožení života.

Na akci také prezentovali sponzorované týmy a to jak své plány, tak dostupné technologie. Zajímavé bylo např. kam se posunulo EEG, ale tyto slajdy nejsou veřejně dostupné.

Nemáte noční můry? DARPA má pro vás řešení … stačí se přihlásit.

14. listopadu 2023 — Pravidla ver1

Please review the rules document for Challenge 1. This document describes tasks for each competition track and associated scoring mechanisms. We will make updates to this document over time and will let you know each time content has been added. The rules doc will be available on the website. … hmm, sakra, proč to nedali rovnou online na triagechallenge.darpa.mil/resources?! V každém případě tam bude pravděpodobně brzy update.

Pro Primary System mne zaujalo pár bodů (i když v této kategorii nesoutěžíme):

There are two themes for Challenge 1: a plane crash and a post-battle environment.
All courses are expected to be located outdoors during daylight where the ground will be pavement, grass or gravel.
Courses are expected to be 100 ft x 100 ft x 100 ft or smaller.
Qualified teams will be eligible to participate in the event, which will consist of three scored runs 15-30 minutes in duration. The total score for the event will be sum of a team’s best two runs.
In Phase 1, competitors will be permitted to teleoperate their deployed systems with up to one Operator per UxV system and one Human Supervisor per team.

Toto snad zapadá co o soutěži říkali dříve, takže snad OK.

Primary Triage: Virtual Competition Rules

Virtuální prostředí

(1) DTC Simulator, an extensible Unreal Engine (UE5)-based simulation environment employing MetaHumans augmented with physiology data (2) automated testing and assessment tools; and (3) associated software support infrastructure.

Po pravdě tomu stále moc nerozumím. Simulace probíhá v Unreal Engine rozšířené o simulovaná zdravotní data. Ale když se podíváte na následující tabulku releases, tak tam bude mezifáze „teleoperation”?! Aha, já jen neumím číst — Manual teleportation … tak to asi bude skákání na XYZ?

Releases

A konečně vyhodnocení je podobné jako v Primary System:

Bodování

… i toto odpovídá prezentacím na KickOff meetingu, tak snad nás nevyloučí ještě než soutěž začne.

p.s. ono tam ta pravidla možná byla (viz DARPA_Triage_Challenge_Rules-v1b_2023_11_14.pdf), jen jsem se zaměřil na hlášku dole místo abych četl shora:

Pravidla jsou a budou ...

21. listopadu 2023 — Triage Promo Video

7. prosince 2023 — Virtual Competition dataset

V úterý večer (středoevropského času) jsme dostali link na stažení 38GB datasetu pro Virtual Competition. Stahovalo se to celou noc, ale přálo mi štěstí a stáhlo se to celé a md5sum seděla (klasicky Vodafone/bývalé UPC moc neřeší výpadky, resp. tento týden je navíc avízovali: Modernizujeme naši síť pevného internetu).

Asi první co mne dostalo při rozbalovaní staženého tar souboru byl soubor Game.exe?! To nezní moc linuxově. Chystal jsem se teď organizátorům psát, jaké jsou tedy požadavky na počítač a ono je tam i README.pdf, které se rozbalilo asi jako úplně poslední soubor a tak jsem ho včera nezaregistroval. Píšou, že součástí datasetu je i Game Application, která byla použita pro generování trénovací sady. Pro Windows.

Dataset obsahuje 5 různých tras, kudy se pohybovalo simulované vozidlo (UGV) a kudy i letěla drona (UAV):

Přehledová mapka tras robotů

… a ano, je to to slibované vlakové neštěstí …

Vedle RGB videa je k dispozici i IR záznam a audio.

Záznam z termokamery

K dispozici je i Ground Truth (CSV soubory) popisující zdravotní stav všech 30 osob, včetně tepu, dýchání, stupně popálení atd.

24. ledna 2024 — Oficiální vyhlášení soutěžících týmů

Včera DAPRA oficiálně oznámila seznam soužežících týmů. Skoro bych řekl konečně, protože tato informace byla pravděpodobně známá už více jak před měsícem, ale … prostě teď už můžeme napsat, že DARPA Triage Challenge Data Competition - Robotika Team Accepted.

Co nás oba s Frantou překvapilo, je poměrně velké množství týmů ve všech kategoriích:

System Competition Teams

AIR TAGS: Automated Image and Radar-based Triage, Assessment, and Geolocation System (DARPA-funded)
APAT: AI Powered Autonomous Triage
Coordinated Robotics
DART: Drone Assisted Rapid Triage (DARPA-funded)
Engineering Dynamics and RIIS
FRANTIC
MR NIB
POINTER: Point of Injury Navigation, Triage, and Emergency Response (DARPA-funded)
PRISM
PRONTO: Penn RObotic Non-contact Triage and Observation (DARPA-funded)
RAPID: Reliable Assessment of People in Disasters (DARPA-funded)
RESCUE: Reliable Evaluation and Sensing of Casualties in Uncertain Environments
RoboScout (DARPA-funded)
STRAPS: Stand-off Triage with Real-time Advanced Physiological Signatures (DARPA-funded)
TTT: TAK Triage Technologies
UAS-DTU: Unmanned Aerial Systems Delhi Technological University

Virtual Competition Teams

Anderson
CC: Cambridge Consultants
Coordinated Robotics
Engineering Dynamics
Flying Fitches
GammaCat
Mongata
NurseBotics
Robotika
Second Sight
TNT: Tinkerers
TrueFit.AI
TTT: TAK Triage Technologies
UAS-DTU: Unmanned Aerial Systems Delhi Technological University
VIA TAGS

Data Competition Teams

AI TEMPO: Alert for Intervention using Timeseries EMergency Physiological Observations (DARPA-funded)
ALICE: AI Life Saving Intervention Compute Engine (DARPA-funded)
Anderson
AUSTERE: AI User Supporting Triage and Evacuation Recommendation Engine (DARPA-funded)
CAMA: Center for Advanced Medical Analytics
CNA: Center for Naval Analyses
Coordinated Robotics
CRITIC: Continuous Review and Intervention for Timely Care (DARPA-funded)
HTTD: Healcisio Tactical Triage Detachment
LENS: LSI Early Notification System (DARPA-funded)
Medic Copilot
MGB-Harvard
MSAI: MarvsAI
Robotika
TrueFit.AI
University of Augsburg

6. března 2024 — Event Qualification 3/5 - 4/5

Nevím, zda je to vtipné, ale zase jsem těm amíkům skočil na špek — Hi Andrew, the team portal will be open from 3/5 to 4/5 for qualification. Komentoval jsem to, že je hrozné, že na to jsou jen dva dny … ale Franta mne uvedl do reality, že je na to měsíc a první možný termín odevzdání byl včera. :-(

Year One Workshop Qualification Guide

Virtual Competition Event Qualification

Teams must pass the qualification scenario to be considered for competition scoring. The qualification scenarios will be a simple scenario to confirm the team’s submitted software executes without error and produces the results required for scoring as defined in the Virtual Testbed ICD.

To qualify, teams must demonstrate an initial ability to interface with the software. Teams will be provided with an API to test this ability. Teams will provide a short screen capture video demonstrating their system running through the latest version of the virtual testbed.

Data Competition Event Qualification

To qualify, teams must demonstrate an initial ability to interface with the data. This will include the following elements.

1. Ability to properly read in different file formats (CSV and HDF5)

2. Ability to link data for a particular case between data tables and signals

3. Ability to use the data dictionary to interpret data

Teams will demonstrate this through a series of tasks and submit their answers through AWS.

p.s. jsou vtipný … já měl pocit, že na ten virtuál to ještě nevydali a vlastně i plán byl myslím koncem března. Okno na registraci je tedy sice měsíc, ale nutné předpoklady budou splněny až v jeho posledním týdnu … tedy jestli to dobře chápu???

Q: Is there an update on when the ICD can be expected and whether or not the Event #1 Qualification dates will be adjusted?

A: We anticipate releasing the Virtual Competition ICD by end of March. Please stay tuned and check the website, where it will be located on the Resources Page.

Možná ještě Important Dates:

Week of June 10 - Workshop Version of Testbed released
June 17 - Lessons Learned Panel
July 30 - Virtual Competition Submission Window Open for Challenge Event 1
August 30 - Virtual Submissions Due for Challenge Event 1
October 5 - Awards Ceremony for Challenge Event 1 (hybrid)

8. dubna 2024 — 12 otázek SDC

A je to. Workshop Event Qualification je uzavřený — přesněji „na půl”, protože Primary Virtual je o 14 dní odloženy: As the software was released March 27 the team portal will close April 10 for virtual submissions (2 calendar weeks after the release of software). However, we are extending submission of qualification videos until May 1. Teams should submit qualification videos between April 10 and May 1 by emailing the link to XXX. Nevím, kde jsem si zase ty 2 týdny vzal (jj, 2 týdny po vydání SW), teď to spíše vypadá na „ještě dva dny”, nicméně za tým Robotika jsme s Frantou registrační formuláře vyplnili a chybí "pouze" demonstration videos.

Secondary Data Challenge kvalifikace ale již uzavřena je. Vlastně jsem to tu psal minule, že hlavním úkolem je předvést, že si poradíme s daty ze dvou nemocnic (celkem cca 5000 pacientů). Aby to nebylo tak jednoduché, probíhal celý vývoj v Amazon WorkSpace, přes něj si uživatel mohl pustit SageMaker a pak v webovém okně dalšího stroje ještě JupyterLab. Ani s jedním nejsem kamarád a odezva … no není to lokální PC, tj. někdy dost tragédie.

Aby byla větší zábava, tak jsou data u obou nemocnic vedena úplně jiným způsobem. Jiné tabulky, jiné názvy (např. HeartRate vs. ADM_HR), a je také dost pravděpodobné, že jsem to pomotal. A rovnou se přiznám, že pro radu jsem často chodil k AI (ajajaj), např. co je to GCS (Glasgow Coma Scale). Některé „sloupečky” vůbec neexistovaly a bylo nutné si je spočítat (shock index).

Za mne je to loterie, vsadili jsme si 12 čísel (pár jich bylo float), tak schválně jak to dopadne …

25. dubna 2024 — Výsledky loterie a Data Challenge Docker

Číslo otázky	Robotika	DARPA
1.	140	134, 140 There are two age fields in UPitt dataset with different precision, so the answer changes depending on which field used.
2.	11	11 Correct answer is 11. 16 if counting unique within each dataset instead of between datasets.
3.	657	657
4.	2086	2086
5.	377	381, 384 384 and 381 both correct (former includes both signal and trends, latter only for signals)
6.	86.22592394151795	86
7.	93.2937489574223	93
8.	1962	1962
9.	706	706
10.	0.8444878086426884	0.844
11.	0.8888945163056138	0.796
12.	125	125 Incorrect answer 112 for teams that included both in- and pre-hospital LSIs.

To není až tak zlé, když vezmu v úvahu jaká to byla střílečka naslepo :-( … závěr je: We are pleased to inform you that you have qualified for the workshop event for the Data Competition. We look forward to your participation in the coming weeks.

Prima, a teď o co přesně jde? Viz DTC_Data_ICD_3-18-2024_rev2.pdf, kde ICD = Interface Control Document.

Data Challenge Dockers

Snažím se pochopit, jak vyzkoušet alespoň hello world a první co vidím, že už je novější verze dokumentu — DTC_Data_ICD_4-16-2024_rev3.pdf, ale ta není ještě veřejně dostupná!

Pro dnešek (nemluvě o tom, že tento „příspěvek” už je anti-datovaný a včera jsem to nestihl a ani dnes už nemám moc sil) timeout. Momentálně to skončilo na tom, že nemáme právo stáhnout DTC base docker image, ale pravděpodobnější je, že jsem něco špatně zkopíroval z návodu na GitHubu. Ptáte-li se, kolik na to máme času, tak odpověď zní, že docker image je třeba uploadovat do 17. května 2024 — 20 dní, „pohoda”.

25. září 2024 — Award ceremony for Challenge Event 1 will be on October 5th, 2024

Pět měsíců ani čárka, to ode mne ale není pěkné. :-( … DTC samozřejmě pokračuje, ale teď se jí věnoval především Franta. Já jen periferně registroval maily z DTC fóra (dostupné pouze po registraci) a zprávy mne spíše demotivovaly, než nějak nadchly. Je pravda, že to jsou hlavně bug reporty jak k používání AWS Sagemaker pro Data Challenge, tak nejrůznější problémy s posledním relase simulátoru a jeho záplat pro Virtual Challenge. Hodně zpráv je i o System Challenge s reálnými roboty, ale té se (zatím?) jako Robotika neúčastníme.

Dnes mne zaujala zpráva: DARPA is aware of and tracking TS Helene. It is currently not projected to disrupt the CE1 schedule. Teams should plan for the possible effects of the storm on flights into the Atlanta area. As more information comes it we will update teams. — ono nám stačí počasi v ČR, ale asi ani „za vodou” neni vždy veselo. Z toho jsem i dedukoval, že Challenge Event 1 už je opravdu blízko a proto dnešní report. Pokud vyhlášení bude příští týden v sobotu, tak vyhodnocení Data Challenge a Virtual Challenge probíhá už teď a System Challenge začíná tuto sobotu: 09/28/2024 - 10/05/2024 Challenge 1 Event in Perry, Georgia.

Co se soupeřů týče, tak viz přehled týmů. Je tam 7 týmů ve virtuálu a 12 týmů v datech, z toho 5 DARPA sponzorovaných. Virtuál se vyhodnocuje ve dvou katastrofických scenářích — vlakové neštěstí a Razish (podle Google Military Training Village).

Za shlednutí, resp. pro lepší představu jak bude soutěž vypadat, stoji i video Lessons Learned - Workshop1.

p.s. DTC Forum 10/2/24 20:31 — The Challenge 1 Awards ceremony will be streamed on the DTC website. We’re looking forward to your participation. The link will be live in the next few days.

p.s.2 DARPA Triage Challenge – Challenge Event 1 Awards Ceremony & Seminar (začátek v 15h CET, 5. října 2024)