Is het mogelijk om met behulp van beeldherkenning een 3D-model van de stad te verrijken? Dat was de centrale onderzoeksvraag van een pilot die Spotr deed met de gemeente Rotterdam. Het antwoord: ja, dat kan. Een wereldprimeur! In dit interview vertellen Jane Hermans-van Ree en Tjits Tuinhof - beide nauw betrokken vanuit de gemeente Rotterdam - er alles over.
Deze pilot was onderdeel van het programma Totaal Driedimensionaal, een initiatief van de gemeenten Den Haag, Rotterdam en Amsterdam, in samenwerking met de Vereniging Nederlandse Gemeenten. Doel van dit programma is een doorbraak creëren op het gebied van driedimensionale informatie. De gemeenten onderzoeken onder meer hoe driedimensionale informatie die al beschikbaar is, opgenomen kan worden in hun registraties. Zodat ze met de verrijkte 3D-modellen meer inzicht krijgen én meer inzicht kunnen geven.
Uitproberen en puzzelstukken verzamelen
“We zitten in Nederland echt in een transitieperiode,” vertelt Jane Hermans-van Ree, programmamanager 3D bij de gemeente Rotterdam. “De transitie van analoog naar digitaal was groot, de transitie van 2D naar 3D heeft minstens zoveel impact. Dat gaat in stappen. We zitten nu in de fase van uitproberen, puzzelstukken verzamelen, ervaringen opdoen. Het programma en deze pilot zijn daar onderdeel van.”
Ramen en deuren detecteren aan de hand van beelden
Tjits Tuinhof, adviseur bij de gemeente Rotterdam, legt uit welk vraagstuk de gemeente specifiek voor deze pilot had.
“In 3D-modellen heb je verschillende zogenoemde Levels of Detail. Bij Level 1 is het gebouw enkel een vierkant blokje, bij Level 2 zie je al dakvormen, bij Level 3 heb je een pand met ramen en deuren. Wij wilden weten: is het mogelijk van Level 2 naar 3 te komen door ramen en deuren te detecteren uit bestaand beeldmateriaal, wat komt daarbij kijken en hoe neem je dat op in je registratie? Via woningcorporatie Woonstad kwamen we met deze vraag bij Spotr terecht.”
Verrijkt 3D-model zeer waardevol
Spotr ontwikkelt beeldherkenningsmodellen om met behulp van artificial intelligence alle aspecten van het exterieur van een gebouw in kaart te brengen. Spotr is hierin wereldwijd voorloper.
“Hier waren we naar op zoek”, vertelt Tjits. “We zijn om de tafel gegaan met Spotr voor een brainstorm over wat er mogelijk zou zijn. Voor welke usecases we zo’n verrijkt 3D-model konden gebruiken wisten we toen nog niet precies, we waren vooral gevoed door het gevoel dat het gebruik van zo’n model gestimuleerd wordt als mensen meer herkennen. Als het minder abstract is. Maar tijdens die brainstorm ontstonden allerlei ideeën.”
“Bijvoorbeeld: als we in het 3D-model kunnen zien waar deuren zich bevinden en hoe hoog dorpels zijn, kunnen we risico’s in beeld brengen bij wateroverlast. En: als we in het 3D-model kunnen zien waar ramen zitten, kunnen we bij de ontwikkeling van bijvoorbeeld een nieuwe woontoren (laten) zien wat dat doet met licht en schaduw op de ramen van nabijgelegen huizen.”
“Het verrijkte 3D-model kan ook waardevol zijn voor politie en brandweer. Zij gaan beter voorbereid op pad als ze van tevoren al weten waar de ramen en deuren zich bevinden. Uitgebreide informatie over elk gebouw helpt ook bij het plannen van onderhoud en het inschatten van de kosten. En door nog meer details aan het 3D-model toe te voegen, kunnen we bijvoorbeeld zien hoeveel daken al zijn uitgerust met zonnepanelen en waar in de stad nog mogelijkheden zijn voor het plaatsen van zonnepanelen.”
Hele proces goed vastleggen
Conclusie van de brainstorm: we gaan aan de slag. De eerste stap was vervolgens beeldmateriaal verzamelen en verwerken.
“Hier zitten ook direct bepaalde voorwaarden aan waar opgelet moet worden,” vertelt Tjits. “Want dat beeldmateriaal moet voor een goede interpretatie van precieze informatie worden voorzien. Zoals de exacte plek vanwaar de foto is genomen en de hoek van waaruit de foto is genomen. We letten er dus ook continu op dat we dit soort leermomenten goed opschreven, zodat andere gemeenten er straks ook mee aan de slag kunnen.”
Die precieze locatie en hoek van de foto zijn zo belangrijk, omdat op basis hiervan de locatie wordt bepaald van de elementen in het 3D-model. Daar waar zich op de foto een raam of deur bevindt, knipt het computerprogramma als het ware een gat in het blokje dat het 3D-model is, en plakt daar een raam of deur in. Het model moet daarbij wel waterdicht blijven, want dat is belangrijk voor andere analyses.
“Dit proces van het projecteren van de ramen en deuren op het 3D-model was een puzzel. De belangrijkste redenen daarvoor: het 3D-model wijkt soms af van de werkelijke situatie en Spotr gaat in het huidige werkproces uit van een 2D basis, waardoor ramen en deuren positioneren op verspringende gevels een grote uitdaging bleek. Daarnaast is het belangrijk dat de technische opbouw, de semantiek van het model hetzelfde blijft en dat de ramen en deuren ook op een semantisch juiste manier worden toegevoegd. Dit alles was een groot onderdeel van de zoektocht die bij deze pilot centraal stond.”
Steeds betere resultaten
Jane: “Het proces waarin we zitten op weg naar 3D is sowieso nog een grote zoektocht. Sommige dingen kunnen we al goed, andere dingen moeten nog onderzocht worden. Wat dat precies is, daar kom je in zo’n proces achter. Daarom was het heel prettig dat we met Spotr samenwerkten volgens de agile werkwijze, in sprints van 2 weken. Zo kwamen we samen in die zoektocht steeds een stapje verder. Je ziet dan ook elke keer de voortgang. We zijn onder de indruk geraakt van wat er kan, maar ook van hoe je zo’n algoritme continu kan verbeteren. De resultaten uit de derde en vierde sprint waren wezenlijk beter dan de resultaten uit de eerste sprint.”
3D-model 300 woningen verrijkt
In totaal liep het project 3 maanden, waarin aan de 3D-modellen van 300 woningen ramen en deuren werden toegevoegd. Tjits: “De precisie van de resultaten is zeer hoog, de beeldherkenning heeft binnen no-time onze 3D modellen verrijkt.” Het antwoord op de onderzoeksvraag - is het mogelijk om op basis van bestaand fotomateriaal, geautomatiseerd, met behulp van artificial intelligence, 3D-modellen van gebouwen te verrijken met informatie over waar ramen en deuren zich bevinden – is dus: ja, dat kan.
Jane: “We hebben samen met Spotr echt een mooi resultaat neergezet. En op een fijne manier. Er was continu interactie, we hadden steeds gesprekken over de ontwikkeling, de voortgang was heel zichtbaar. Spotr is absoluut een leuke partij om mee samen te werken. Enthousiast, meedenkend, dynamisch.”
Stappenplan voor andere gemeenten
En de volgende stap? “Een vervolgstap voor ons is onder andere antwoord vinden op de vraag: hoe organiseren we het beheer van het 3D-model? Want het is natuurlijk cruciaal dat het 3D-model blijft kloppen met de werkelijkheid. Dat als ergens een dakkapel wordt geplaatst, dit ook in het 3D-model wordt doorgevoerd. Dat is een van de dingen waar we nu mee aan de slag gaan.”
De resultaten van de pilot zijn nadrukkelijk ook bedoeld om andere gemeenten mee te inspireren. “We hebben alles opgeschreven, dus alle handvatten die gemeenten nodig hebben om op basis van beeldmateriaal extra informatie in de registratie op te nemen zijn er. Van wat je aan de voorkant nodig hebt en wat eruit komt, tot hoe je dat opneemt in je 3D registratie en wat je ermee kunt. Zo gaan we samen stap voor stap richting het 3dimensionaal vastleggen van de stad, zoals we de stad ook echt beleven als we buiten lopen.”
Up-to-date en betrouwbare data op één plek
Bij Spotr staan de ontwikkelingen ondertussen ook niet stil. Door continu verbeteringen door te voeren in de modellen worden de resultaten steeds nauwkeuriger. En dat beperkt zich niet tot ramen en deuren. Spotr detecteert in totaal 80 objecten op de gevel, het dak, de omgeving van de woning en het interieur. Ook kan de AI van Spotr met algoritmes gebreken herkennen in woningen en al die informatie komt automatisch bij elkaar in één toegankelijk platform. Zo heb je als gemeente altijd up-to-date en betrouwbare data over je woningen op één plek.
