User Tools

Site Tools


bee_monitoring_visualization-tests

This is an old revision of the document!


bee monitoring, visualizations, tests

mogelijk visuele presentaties van de sensordata grafieken gelinkt aan de movies
clean-up timelapse movies (missing data: 19/7⇒8/9 and 19/11⇒23/12)
abstracte representaties van de bijen, of beter gezegd gestileerd
een tijdsverloop of een gevoel van 'tijd' (langzaam of snel)

een voorbeeldje van de trails.
Eerst heb ik een filter gemaakt die het verschil tussen 2 frames berekend (hoe witter, hoe meer verschil, hoe zwarter, hoe minder).
Dan heb ik het contrast wat opgetrokken en het ik de film 64x boven elkaar gezet, maar elke laag 1 frame opgeschoven. Van al deze lagen bereken ik dan de gemiddelde luminantiewaarde. Dit geeft als resultaat dat in elk beeld 64 beelden te zien zijn (een bredere tijdseenheid).
De wandelpaden van de bijen worden hierdoor zichtbaar gemaakt.

is het 1 bij die je volgt op de trail? of meer?
indien er veel bijen tegelijk in de picture komen, hoe duidelijk zal de trail dan nog zijn?
moet je specifiek een opname kiezen waar 1 bij duidelijk geïsoleerd is?
kan je dit ook over een langere tijdsspanne laten lopen?
ik vind dat er zeker ook movies bij moeten zijn die een langere tijdsspanne vertegenwoordigen,
om een idee van tijdsverloop te krijgen
of minstens, om er te kunnen over praten.
heb je ook al gedacht aan iets ivm. de dag/nacht verschillen?
in de hive zie je duidelijk het verloop van de zon …
ik vind ook de pixillation in die trail (in het vaste deel van het beeld) heel interessant
ik vermoed dat die pixels gevormd worden rond de reflectie van de leds?
in elk geval heeft het geheel van het beeld iets 'wetenschappelijks',
een beetje zoals een warmte camera of x-ray beeld

Ik volg niet een enkele bij, maar allemaal. Het is een effect op de beelddata, niet een analyse er van, dus het geldt voor alle bijen. Inderdaad: een stuk opname met enkele bijen die rondkruipen is dan 't interessantste.
Wat bedoel je precies met tijdspanne? De lengte van de videoclip of de lengte van de trail? De lengte van de videoclip is zeker aan te passen, de lengte van de trail gaat ook, maar dat leg ik kort even uit: ik liet je een clip zien met 64 lagen. Dan bestaat de trail uit 64 delen (frames). De lengte hangt dan af van het aantal frames en de afstand die de bij over die frames heen heeft gewandeld. Ik heb de compositions in after effect zo gemaakt dat ze tot 128 gaan. Maar ik kan gerust doorgaan. De volgende stap is 256, dan 512, 1024, 2048 etc… Maar 128 zal voorlopig mijn limiet zijn, de rekentijd gaat jammer genoeg sterk omhoog. Als het echt nodig blijkt kan ik een max/msp programma proberen schrijven (als ik kan bekijken dat het daar sneller zou kunnen gaan natuurlijk).
De pixellation in de trail is het gevolg van de zware mpeg-compressie (ruis). De vierkantjes die er doorheen komen zijn geen pixels maar sub-pixels: de artefacten fan een hoge compressie. In theorie mogen deze na de absolute-difference filter niet meer verschijnen, maar door de ruis (die het felste is bij hoge contrasten) blijft dit (jammer genoeg) zichtbaar doorheen de tijd. Het geeft inderdaad wel een beetje een wetenschappelijk uitzicht.
Ik heb nog niet gedacht aan de visualisaties van de dag - nacht verschillen. (hoe zie je precies het verloop van de zon in de hive?)


ik denk dat beide mogelijkheden interessant zullen zijn:
- indien je een opname uitwerkt met veel bijen (laat ons zeggen in de dag in de late lente/zomer, wanneer de bijen op hun 'actiefste' zijn)
- in de winter (wanneer de bijen in principe stil zitten en enkel de hive 'verwarmen' en er maar sproradisch activiteit is van heen en weer geloop indien buiten boven de 10°C)
- het kan ook interessant zijn om een opname met veel bijen te vergelijken en te stellen naast een met enkele bijen, om te zien hoe het verschil is.
Ik stel me voor dat dit verschil visueel naar voor zal komen als -voor veel bijen : meer een 'trail' als een 'wolk' en voor -weinig bijen: meer een 'trail' die gedetailleerd is?

enfin, ik denk idd. dat veel visuele benaderingen eerst moet getest worden, en uit de tests kunnen we zien wat we 'wetenschappelijk' daarin willen benadrukken, en dus hoe we doorgaan ermee.
bvb. met deze 'trail' test vind ik het heel bijzonder dat je min of meer hun 'dagelijkse' weg in de hive kan gaan bepalen.
deze dagelijkse weg heeft ook veel te maken met waar het broednest zit, want de 'voedsterbijen' lopen uiteindelijk altijd naar de richting van de koningin en naar de bijen die de kleintjes verzorgen.

nog even:
is het mogelijk om de 'trail' bewerking uit te voeren over een tijdsspanne van 1 dag en 1 nacht , uitde gecompresseerde video?
ik kan nu niet direct opzoeken hoelang deze opnameperiode effectief is, in seconde of minuten, (want ik ben tegen deadline van vanavond nu een serre aan het verplaatsen), maar ik wil van jou weten of deze bewerking over deze tijd 'rekengewijs' mogelijk is.
Indien wel, dan vermoed ik dat we in zo'n 'bewerkt stuk' mooi het verschil tussen dag/nacht kan aantonen in een bijenkorf op een mooie zomerdag/nacht.

ik denk dat het dan ook interessant zou zijn om de de sensordata te displayen (esthetisch) op hetzelfde beeld, zodat de relatie tussen warmte/humidity/co2 IN de hive gelinkt wordt aan de bedrijvigheid (beeld) van de bijen, en het verloop van de warmte/humidy BUITEN de hive.
IN de hive zal warmte/humidity ongeveer constant blijven, tenminste als de bijen hun werk goed doen :), maar BUITEN de hive zullen we dag/nacht verschillen hebben (dit kunnen we voordien controleren op de sensordata) en dan is het interessant om te zien of de behaviour (trail) van de bijen zal evolueren over verloop van deze 24 uur.
De display van sensordata kan voor mij, op deze 'trail' bewerking, ook zwart/wit gehouden worden. We moeten zien wat het mooist geeft in esthetische relatie tot het trailbeeld. Ik wil het beeld nu ook niet gaan overschrijven met sensordata.
Misschien is een display van de cijfertjes die snel veranderen al genoeg.


Dan over het geheel van de 4 flatscreens:
- 1 screen met de life-hive realtime
- 1 screen met de door jou bewerkte opnames, telkens met een zwarte tekstpancarte vóór de video, waarop we kort uitleggen wat er juist te zien is
- 1 screen met een montage van opgenomen life beelden + pankarte met uitleg ⇒ zo heb ik nog veel clips, we moeten van de meest interessante een selectie maken
- 1 screen met de bee-monitoring geplaatst in het groter geheel van de OpenGreens ⇒ daar heb ik ook een movie van die ik 2 jaar geleden (bij aanvang project) al gemaakt heb, maar deze moet misschien we aangepast worden.

Ik stel voor dat jij zoveel mogelijk nog testjes doet eerst, en dat we dan asap beslissen welke we voor langere opnames gaan uitwerken.
Dan moeten we volgende week eens afspreken in Brussel om door de rest van de videos te gaan, en ook de 'OpenGreens' video samen te bekijken en de veranderingen daarin te bespreken.

Nieuwe video op de ftp server
filenaam 02_04_loop_75fps_web.mov
Het is een loop van 58 seconden, waar de bijen eerst met heel veel zijn, dan wegtrekken zodat je de raat tevoorschijn ziet komen, en dan terug volstromen.
note: de video moet spelen aan 75fps (niet 25fps) zodat je als het ware 'doorheen' de bijen de raatstructuur kan zien.

persoonlijk vind ik deze nieuwe test niet veel toebrengen to de representatie van onze bee-research.
het is leuk en gadget-achtig, maar toont niets wetenschappelijks.
wat is de tijdspanne van deze video? is dit een dag/nacht 24uur?
is het zomer, lente?
je ziet, de informatie wordt pas echt interessant in relatie tot ht tijdstip in het jaar én in de dag.
ik zou het fijner vinden als je doorgaat op de vorige piste, en daar nog enkele tests op doet zoals ik aangaf in de voprige mail.
en zeker de relatie sensordata + beeld samenbrengen, en daar enkele tests op doen, op die representatie!

Uiteraard ga ik door op de vorige (trail) test.
Het viel me gewoon op dat er een trend te zien was in de 'bevolkingsdichtheid': heel vol, dan duidelijk leger, en dan terug heel vol. Naast esthetisch interessant leek het me ook een manier om kennis te maken met de drukte binnenin.

ja, het wordt interessant als je kan zien of deze drukte aan een tijdssequentie gelinkt is:
* dag/nacht
* of misschien over grotere periodes, en meer te maken met de temperatuur?
dit is nu net de zaken die we moeten ontdekken in onze monitoring.
daarom denk ik dat we moeten starten met in de gecompresseerde videos (3 harde schijven)
* aaneenhangen (3 stukken, 3 hard discs)
* beelden relateren aan tijd: display van datum + uur over gans de video
Ik zou de sensordata eerst en vooral graag eenvoudig in cijfers weergegeven zien:
een tabelletje
* temperature inside 01 …….
* temperature inside02 …….
* temperature outside …….
* humidity inside …….
* humidity outside …….
* CO2 …….
* timestamp (date + time) ………
Dus de facts, in cijfers weergegeven, evoluerend met het beeld.
Dan kunnen we vandaaraf vertrekken om bepaalde opnames uit te kiezen.
Dit wordt namelijk veel relevanter op deze manier, als de info gedisplayed is samen met het beeld.

Ik ben vandaag bezig geweest met zoeken om de data te kunnen syncen aan de video, niet direct een simpele klus omdat de enige houvast de timestamp in de titel van de afzonderlijke (originele) films zijn. Samen met de duurtijd weet ik de in- en uitpunten van de sensordata zodat ik deze kan linken en daartussen kan interpoleren. Maar met de aaneengezette videos verdwijnt die houwvast. Interpoleren tussen het begin en het einde van de timelapse-films (door BALT gemaakt) kan wel gaan, maar dat is dan zeer rudimentair (geen zekerheid over dag-nacht-correlatie ed). Nu ja, de video's zijn ook rudimentair aan elkaar gezet: er zitten overal nogal gaten in. Ik bekeek enkele losse (originele) videos vb:

De linkse colom zijn de filenamen (enkel de timestamp daaruit)
Video2 (timestamp start) length timestamp end opmerking
2011.05.04-16.19.15 00:00:50 16.20.05 2 sec overlap in timecode
2011.05.04-16.20.03 00:01:38 16.21.41 2 sec overlap in timecode
2011.05.04-16.21.39 00:02:38 16.24.17 5 sec overlap in timecode
2011.05.04-16.24.12 00:32:25 16.56.37 00:13:47 te kort
2011.05.04-17.10.24 00:01:00 17:11:24 00:00:27 te kort
2011.05.04-17.11.51 01:31:42 18.52.33 08:41:22 te kort
2011.05.05-03.33.55 00:16:17 03.59.12 00:00:50 te kort
2011.05.05-04.00.02 00:37:30 04.37.32 00:22:30 te kort
2011.05.05-05.00.02 00:37:31 05.37.33 00:22:28 te kort

Wat ik zou kunnen doen is via de timestamp en de duurtijd een correctere koppeling aan de data te maken, maar dan kunnen de video's niet zomaar aan elkaar gezet worden tot 1 video, of er moet een soort data-sequentie gemaakt worden… Niet direct evident. Ik probeer nu in stapjes verder te geraken. Ik heb nu een module geschreven om CSV data in te lezen om gemakkelijk mee te kunnen werken in max/msp. In de volgende stap probeer ik een geselecteerd stuk data uit te lezen in sync met de video. De volgende stap is om eventueel in- en uit-punten te zoeken in een grotere file en de tussenliggende lijnen te interpoleren.

bee_monitoring_visualization-tests.1334602605.txt.gz · Last modified: 2016/01/13 17:46 (external edit)