{"id":3517,"date":"2017-07-23T06:03:20","date_gmt":"2017-07-23T04:03:20","guid":{"rendered":"http:\/\/www.naoteamhumboldt.de\/?page_id=3517"},"modified":"2021-05-06T15:08:46","modified_gmt":"2021-05-06T13:08:46","slug":"robocup-data-collection-and-evaluation","status":"publish","type":"page","link":"https:\/\/www.naoteamhumboldt.de\/de\/projects\/robocup-data-collection-and-evaluation\/","title":{"rendered":"Tools for Data Driven Research and Development in RoboCup"},"content":{"rendered":"Eine empirische wissenschaftliche Disziplin erfordert eine Reihe von Methoden und Praktiken zur Bewertung und zum Vergleich von Modellen und L\u00f6sungen. RoboCup bietet ein einzigartiges gemeinsames Testszenario f\u00fcr die Robotik, dessen Potenzial jedoch bei weitem nicht ausgesch\u00f6pft ist. Die Durchf\u00fchrung von Spielen verursacht hohe Kosten in Bezug auf Aufwand, Zeit und Geld. Das wissenschaftliche Ergebnis ist jedoch recht begrenzt und oft nicht sehr schl\u00fcssig. In den meisten F\u00e4llen ist nur das Endergebnis ein Indikator \u00fcber die Leistung einer Mannschaft.\r\n\r\nIn diesem Projekt entwickeln wir eine Toolbox (eine Reihe von Tools) zur Unterst\u00fctzung der Sammlung, Organisation und Analyse gro\u00dfer Mengen an RoboCup-spezifischen Daten, die eine detaillierte Analyse zur F\u00f6rderung der datengesteuerten Forschung und Entwicklung im RoboCup erm\u00f6glicht.\r\n\r\n<a href=\"http:\/\/www.naoteamhumboldt.de\/wp-content\/uploads\/2017\/07\/rc-data-flow.png\"><img src=\"http:\/\/www.naoteamhumboldt.de\/wp-content\/uploads\/2017\/07\/rc-data-flow-small-1.png\" width=\"900px\" class=\"aligncenter\" \/><\/a>\r\n\r\nDie Hauptkomponenten des robocup.tools Frameworks sind:\r\n<ul>\r\n \t<li><strong>Sammlung und Synchronisierung<\/strong>\r\n&#8211; automatisch synchronisierte Videoaufzeichnung, Kommunikationsdaten, Logdaten der einzelnen Roboter, Synchronisationstool f\u00fcr nicht synchronisierte Videos;<\/li>\r\n \t<li><strong>Speicherung, Formate und Abfragen<\/strong>\r\n&#8211; Aufbereitung und Speicherung der Logdaten in eine Datenbank, Extraktion bestimmter Ereignisse in JSON, Logging auf den Robotern auf Basis von Protobuf (r\u00fcckw\u00e4rtskompatibel), Zugriff \u00fcber Webschnittstellen;<\/li>\r\n \t<li><strong>Mining und Informationsextraktion<\/strong>\r\n&#8211; Skripte zum Extrahieren von Ereignissen aus Protokollen (z.B. &#8220;fallen robot&#8221;), Werkzeug zur manuellen Annotation von Ereignissen, Erkennung und Verfolgung von Objekten in Videos mit Machine Learning;<\/li>\r\n \t<li><strong>Aggregation, Analyse und Visualisierung<\/strong>\r\n&#8211; Statistik \u00fcber Ereignisse (Identifizierung systematischer Probleme), Visualisierung von Strategien, Qualit\u00e4t der Wahrnehmung der Roboter im Laufe des Spiels<\/li>\r\n<\/ul>\r\n\r\nSetup Anleitung: <a href=\"https:\/\/www.youtube.com\/user\/teamhumboldt\">https:\/\/www.youtube.com\/user\/teamhumboldt<\/a>\r\n\r\n<h2>RoboCup Videos<\/h2>\r\n<ul>\r\n        <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTy6zvTtRyeYprXvTu-zsjit\" target=\"_blank\" rel=\"noopener noreferrer\">German Open 2018<\/a> (<a href=\"https:\/\/spl.robocup.org\/wp-content\/uploads\/downloads\/RoboCupGermanOpen2018TeamCommunicationLogs.zip\" target=\"_blank\" rel=\"noopener noreferrer\">GameController logs<\/a>)<\/li> \r\n        <li>RoboCup 2018 (<a href=\"https:\/\/www2.informatik.hu-berlin.de\/~naoth\/ressources\/RoboCup2018TeamCommunicationLogs.zip\" target=\"_blank\" rel=\"noopener noreferrer\">GameController logs<\/a>)\r\n            <ul>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTyjs3My-P8ro-V-LNLamGOu\" target=\"_blank\" rel=\"noopener noreferrer\">Day 1<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTwtX370A9FreobGbJu46clY\" target=\"_blank\" rel=\"noopener noreferrer\">Day 2<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTwcrpQlt6ONjBfx54Bp0g2I\" target=\"_blank\" rel=\"noopener noreferrer\">Day 3<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTxbw5u8jqr6yiCn3sxuFiV4\" target=\"_blank\" rel=\"noopener noreferrer\">Day 4<\/a><\/li>\r\n            <\/ul>\r\n        <\/li>\r\n        <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTx7Xx65JHqAfLxNDmaUldH0\" target=\"_blank\" rel=\"noopener noreferrer\">German Open 2019<\/a> (<a href=\"https:\/\/spl.robocup.org\/wp-content\/uploads\/downloads\/RoboCupGermanOpen2019TeamCommunicationLogs.zip\" target=\"_blank\" rel=\"noopener noreferrer\">GameController logs<\/a>)<\/li> \r\n        <li>RoboCup 2019 (<a href=\"https:\/\/www2.informatik.hu-berlin.de\/~naoth\/ressources\/RoboCup2019TeamCommunicationLogs.zip\" target=\"_blank\" rel=\"noopener noreferrer\">GameController logs<\/a>)\r\n            <ul>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTxRC75nk9v-5wfnLH_xKApJ\" target=\"_blank\" rel=\"noopener noreferrer\">Day 1<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTxFgwkG7lwXEO5RJlwngBHi\" target=\"_blank\" rel=\"noopener noreferrer\">Day 2<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTzjFsozDN7KH4D0CVrD-JO7\" target=\"_blank\" rel=\"noopener noreferrer\">Day 3<\/a><\/li>\r\n                <li><a href=\"https:\/\/www.youtube.com\/playlist?list=PLVoczrk_MzTzf2dH_fVBB1I34zO3FOPIb\" target=\"_blank\" rel=\"noopener noreferrer\">Day 4<\/a><\/li>\r\n            <\/ul>\r\n        <\/li>\r\n<\/ul>\r\n\r\n<h2>Links:<\/h2>\r\n<ul>\r\n        <li><a href=\"https:\/\/www.naoteamhumboldt.de\/wp-content\/uploads\/2018\/12\/rc18-project-game-evaluation.pdf\">Project white paper [PDF]<\/a><\/li> \r\n        <li><a href=\"https:\/\/www.naoteamhumboldt.de\/wp-content\/uploads\/2018\/12\/rc2018-data-collection-poster.pdf\">Project poster [PDF]<\/a><\/li> \r\n \t<li>Source Code on GitHub:&nbsp;<a href=\"https:\/\/github.com\/BerlinUnited\/RoboCupTools\">https:\/\/github.com\/BerlinUnited\/RoboCupTools<\/a><\/li>\r\n \t<li>Event annotation tool source code: <a href=\"https:\/\/github.com\/BerlinUnited\/RoboCupTools\/tree\/master\/VideoLogLabeling\">https:\/\/github.com\/BerlinUnited\/RoboCupTools\/tree\/master\/VideoLogLabeling<\/a><\/li>\r\n \t<li>RoboCup Explorer demo (a tool for exploring RoboCup Data): <a href=\"https:\/\/www2.informatik.hu-berlin.de\/~naoth\/videolabeling\/\">https:\/\/www2.informatik.hu-berlin.de\/~naoth\/videolabeling\/<\/a><\/li>\r\n \t<li>Berlin United code release: <a href=\"https:\/\/github.com\/BerlinUnited\/NaoTH\">https:\/\/github.com\/BerlinUnited\/NaoTH<\/a><\/li>\r\n<li><a href=\"http:\/\/141.20.37.93\/\">Berlin United Logs + Videos: <\/a><\/li>\r\n<\/ul>","protected":false},"excerpt":{"rendered":"Eine empirische wissenschaftliche Disziplin erfordert eine Reihe von Methoden und Praktiken zur Bewertung und zum Vergleich von Modellen und L\u00f6sungen. RoboCup bietet ein einzigartiges gemeinsames Testszenario f\u00fcr die Robotik, dessen Potenzial jedoch bei weitem nicht ausgesch\u00f6pft ist. Die Durchf\u00fchrung von Spielen verursacht hohe Kosten in Bezug auf Aufwand, Zeit und Geld. Das wissenschaftliche Ergebnis ist [&hellip;]","protected":false},"author":2,"featured_media":0,"parent":310,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"wide.php","meta":{"ngg_post_thumbnail":0},"_links":{"self":[{"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/pages\/3517"}],"collection":[{"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/comments?post=3517"}],"version-history":[{"count":54,"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/pages\/3517\/revisions"}],"predecessor-version":[{"id":4189,"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/pages\/3517\/revisions\/4189"}],"up":[{"embeddable":true,"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/pages\/310"}],"wp:attachment":[{"href":"https:\/\/www.naoteamhumboldt.de\/de\/wp-json\/wp\/v2\/media?parent=3517"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}