Skip to content

Tag: Interview

[Diary Studies] UR Lab Interview – Part #2

In part 2 of our interview with User Research Analyst Janine from the UR Lab in Düsseldorf we take a look at the typical day of a tester and how the test results are summarized and presented.

You can find the first part here.

How does a day/session for a tester look like?

All tests and studies vary in duration and focus, but the most common one is a whole day playtest.

We welcome our testers in the morning. However, before we explain the details of the test, they have to sign an NDA (non-disclosure agreement), which is mandatory to take part in a test. By signing the NDA, the testers commit themselves to not revealing anything about the test and its content.

Afterwards, we explain the details of the test and take the testers to our lab. Sometimes there isn’t much introduction needed, and the players simply start playing the game. In other cases, some more explanation about the test is required. We always make sure that our guests understand that we are not testing their gaming experience or knowledge; rather, we are looking for issues in our game. So we always encourage them to be honest and to talk to us if they are unsure about something.

There are usually two observers present during a test. Their task is to watch the players and to look for any issues they encounter.

During full-day playtests, we normally order food and drinks for lunch. This way we are able to take a break and to get to know our testers a little better.

When the second half of the test is done, we often conduct 1-on-1 interviews with each tester,  where we ask questions related to the experience they had with the game.

When the day is over, we usually hand out some small gifts to thank our testers for their participation.

The atmosphere during our tests is generally relaxed and we are always happy to see some new faces!

Are there different kinds of tests? Regarding time played, content, focus, …

Yes, no user test is like the other! We always adapt each test session to the needs of the dev team and what they want to find out.

The duration of a test is dependent on the amount of content the game already has. The focus always differs according to the current state of the project and what the team is still unsure about.

We have several kinds of studies. Typically, we use common playtests, where testers come to our facility to play. Additionally, we also conduct diary studies, during which participants are able to play the game from home over a longer period (usually 2 weeks).

There are other special cases as well. For example, if a project is still in a very early state, we often start testing when there is no game yet. In these instances, we use prototypes or card sorting. Furthermore, we sometimes invite testers for a focus group to discuss various topics like artworks or settings.

How are you summarizing the test results?

Within Ubisoft we have to stick to three specific reporting documents: a high level summary, a detailed appendix, and a presentation from one of the assigned user research analysts. The presentation allows for a detailed explanation and discussion, directly with the development team, about the findings.

This way we can deliver different report formats, each one tailored to specific job families.

The reporting documents are standardised to make sure that dev teams have comparable results, even if they conduct tests with different UR Labs.

How close is your contact with the respective dev team?

Usually we adapt our behaviour to each team’s needs. Each team has a different working philosophy and we always work and change our behaviour according to that.

We are always available  to our dev teams in case of occurring questions or if they would like to schedule another study. Our teams know that early testing saves both time and money. Therefore, after a test, we always encourage the dev teams to do follow-up tests. Frequently teams will send us updated game builds and ask for additional feedback. Opinions of players are very important to them, which is why they contact us regularly.

We also received two additional questions by our German community member IppoSenshu which we forwarded to Janine:

How many UR Labs do you have in total? And when did they start the first playtests?

You can sign up at 16 different Ubisoft UR Labs worldwide, distributed over 10 countries. But we also have some smaller labs which are used differently.
The UR Lab in Düsseldorf was founded about 10 years ago.

Leave a Comment

[Diary Studies] UR Lab Interview – Part #1

With all the buzz regarding the Diary Study going on, we thought it would be a great opportunity to simply get some more information for you about: What is a user research lab? How does it work? What kind of playtests are organized and how is all the gathered data used?

So, we sat down with User Research Analyst Janine of the UR Lab in Düsseldorf to answer some of these questions for you.

What is the UR Lab?

The UR Lab frequently conducts playtests and studies for our projects and is often the first intersection point of players and games. We combine high-technology with common sense in a way that helps dev teams to improve the usability and user experience of their games during all stages of production.

Where are you located?

We are located in the Ubisoft Düsseldorf studio where we offer our dev teams a modern test setup (eye trackers, current gen PCs, etc.) that is built according to current scientific findings. We do our best to welcome our testers and to make them feel comfortable in our lab.

Are there several UR Labs? If yes, do they have different tasks/foci?

Yes, there are several Ubisoft UR Labs worldwide. These teams focus on improving the usability and user experience of our games. Each lab has varying expertise, often depending on the projects they usually work on. Labs stay in close contact with each other to benefit from the others’ study findings and methodologies, and to spread their professional competence.

Do these research studies only happen pre-launch or also post-launch?

We do both. User research and usability testing should start as early as possible to find issues during early stages of development. This also helps dev teams get to know their target group even better while developing the game.

At the same time, user research does not stop after a game is released, as there is always room for improvement. For instance, we also jump in when DLC or other new content, is created to guarantee the same quality as the main game.

Are you also analysing user data from live games or only hosting playtests directly in-house?

The UR Lab also encompasses Game Analytics and we work closely with our data analysts. They analyse data from our live games and support the development teams with their findings. Usually they are responsible for quantitative data, while we provide teams with qualitative insights. Combined, we are able to support our dev teams with the extensive data they currently need to make decisions.

How can I take part in a user research study? Are you only inviting people from the area?

If you are interested in being invited, you need to register at https://playtest.ubisoft.com/bluebyte/enUS . There you can pick the UR Lab that is nearest to you. Keep in mind that you must be able to show up at the studio in person, to participate in a test.

When a user test is scheduled, you will get a preselection mail from us. This will redirect you to a survey that you need to complete, in order to apply for the study. In the survey, we ask you to answer some questions about your gaming habits like how much you play or what your favourite games are.

Following the survey, we will analyse your answers and pick the candidates that best match the target group. Sometimes we are looking for people who spent a lot of time with a specific game, and sometimes we are looking for the opposite. So no worries if you are not a hardcore gamer!

As soon as you’ve been selected, you will get a final invitation mail from us, and we will be happy to welcome you to our studio!

We do not only invite people from the area either. We invite those, who have applied and are willing to come to us. Sometimes we get testers who have travelled for hours to visit us, which is always an honour!

This was the first part of the interview. Stay tuned for next week when we talk about a typical day of a tester and how the results are summarized.

Leave a Comment

[Dev] WYSIWYG – Dostajesz to, co widzisz

„Po podsumowaniu targów Gamescom 2018 w Kolonii i odpowiedzeniu na niektóre z waszych najbardziej palących pytań, nadszedł czas na głębsze spojrzenie na naszą grę. Wskoczmy do świata The Settlers i porozmawiajmy o rozmaitych elementach, dzięki którym The Settlers to gra unikatowa.

The Settlers mają wyjątkową historię, która określa naszą grę oraz to, w jaki sposób się w nią gra i jak się ją czuje. Dzisiaj chcemy porozmawiać o jednym z kluczowych elementów tego DNA, podejściu WYSIWYG oraz wytłumaczyć, w jaki sposób znajduje ono zastosowanie w naszej grze.

Co to tak naprawdę znaczy?

WYSIWYG to skrót od „What You See Is What You Get” – „dostajesz to, co widzisz”.

Wszystko, co dzieje się w systemach naszej gry, widać na ekranie. Przyjrzyjmy się cyklowi życia drzewa. Jako gracz widzisz, jak drzewo – będące elementem świata gry – rośnie. Jeśli postawisz chatkę drwala, aby ściął to konkretne drzewo, możesz go obserwować. Drwal podejdzie do drzewa, zetnie je, a następnie przyniesie pień do swojego budynku. Nie ma już drzewa, ale za to masz jego pień. Ten pień zostanie następnie przetransportowany do tartaku i przerobiony na deski lub też trafi wprost do innych budynków w charakterze budulca.

Możesz po prostu patrzeć, co się z nim dzieje. Dzięki tej wiedzy ty, jako gracz, możesz nauczyć się systemu gry i zrozumieć go, wyłącznie poprzez obserwację. Z technicznego punktu widzenia nie potrzebujesz żadnych statystyk ani ilustracji, żeby wiedzieć wszystko o swojej osadzie. Mógłbyś przybliżyć obraz i policzyć pnie przed chatką drwala. Jeśli masz tylko jednego drwala i nikt nie przenosi żadnych pni, dowiesz się w ten sposób, iloma pniami dysponuje cała twoja osada.

Mówimy bez przerwy o drewnie, ale czy to działa również dla innych rzeczy? Owszem. To działa dla wszystkich elementów gry. Nieważne, czy mówimy o rybach, ziarnie, kamieniach, mieczach czy nawet twoich osadnikach. Każdy towar i osoba jest dokładnie tam, gdzie je widzisz.

Porozmawialiśmy z szefem projektu gry, Christianem Hagedornem. Powiedział nam, że wynosi WYSIWYG na nowy poziom, ale czasami robi się naprawdę trudno!

Christian „Bakyra” Hagedorn:WYSIWYG stawia przed nami bardzo interesujące wyzwanie. We współczesnych grach przywykliśmy, że gra zawsze mówi nam, co mamy robić. Dlatego staramy się zrobić grę tak, żebyś mógł grać bez takich wskazówek„.

Christian mówi dalej: „Celem WYSIWYG jest to, aby gracze zrozumieli – bez żadnych strzałek ani wskaźników – o czym jest nasza gra. To teoretycznie proste założenie, ale żeby sprawdziło się w grze, musimy je sprawdzać na najróżniejsze sposoby. Nie możemy pozwolić na interakcję bez wytłumaczenia. Przykład: Gdy wroga armia atakuje, cywile uciekają dopiero wtedy, gdy ją zobaczą. Nie ma tu żadnej magii. Nie boją się dlatego, że wróg atakuje zamek – boją się i uciekają, bo widzą wroga„.

To podejście dotyczy każdego aspektu gry. Jeśli w okolicy dostępny jest węgiel, gracz widzi go w charakterze elementu krajobrazu. Musi również widzieć proces produkcji najróżniejszych towarów, a to stawia przed nami olbrzymie wyzwanie. Jak daleko możemy się posunąć?

„Trzeba znaleźć równowagę pomiędzy wciągającą rozgrywką, a elementami, które są czysto symulacyjne”.

„Dzięki WYSIWYG gracz lepiej rozumie świat i wszystko, co się w nim znajduje. Dla projektanta czy artystów oznacza to większe skomplikowanie każdego projektu, bo wszystkie pomysły muszą działać według tej zasady”.

Ważne, aby pamiętać o tym, że nie tworzymy kopii rzeczywistości. Jeśli nie ma potrzeby pokazywania jakiejś transformacji, nie będziemy jej pokazywać. Na przykład tartak tnie pień na dwie sterty desek w trakcie jednego procesu. Nie ma potrzeby pokazywać sprzątania opiłków drewna ani wygładzania desek„.

Oznaczałoby to jedynie zwiększenie skomplikowania, nie stanowiąc żadnej prawdziwej wartości dla gracza„.

„Chcemy, żeby grasz rozumiał wszystkie mechanizmy gry, po prostu na nią patrząc”.

Informacje, do których gracz ma dostęp, określamy mianem warstw informacyjnych. W pierwszej warstwie mamy świat, w którym toczy się gra – WYSIWYG. Gracz widzi, gdzie może zbudować jaki budynek, widzi pola, łowiska, zwierzynę, surowce do zbierania i tak dalej. Wszystkie inne informacje można znaleźć w pozostałych warstwach. Druga z nich to informacje o budynku. Tutaj widać, które towary można w nim wyprodukować, jak dużo z nich czeka na zużycie lub transport, jak również ilu robotników pracuje na miejscu. I znowu: można też po prostu przybliżyć obraz i sprawdzić, czy robotnicy nie czekają gdzieś w pobliżu, czy może wyruszyli do lasu ścinać drzewa. Można nawet policzyć pnie drzew, czekające na obróbkę lub transport, ale druga warstwa również przekazuje te informacje. Trzecia warstwa to filtr w menu. Informacje na temat tego, ile masz w sumie towarów, ilu robotników danego typu i tak dalej„.

Z takiej budowy gry wynikają inne, wspaniałe rzeczy. Z powodu WYSIWYG wszystkie zasoby trzeba fizycznie przenosić, bo widać je w świecie gry. Dzięki temu na ekranie widać pełno ludzi, którzy zajmują się swoimi sprawami albo gdzieś idą. Czasami prowadzi to do powstawania korków na drogach. Wynikiem naszych wysiłków jest organiczna rozgrywka i żyjące miasto – a to nagroda sama w sobie!

Christian, dziękujemy za poświęcenie nam czasu i opowieść o systemie „Dostajesz to, co widzisz”.

Christian uchylił już rąbka tajemnicy – w przyszłym tygodniu będziemy mówić o korkach, systemie dróg oraz pojazdach, ale zanim to zrobimy, chcielibyśmy dowiedzieć się, co wy sądzicie o WYSIWYG. Czy podoba się wam taki poziom szczegółowości? Które parametry swojej gospodarki chcielibyście poznać? Dajcie nam znać w komentarzach.

2 komentarze