You are on page 1of 19

 

INSTRUCTIONS: ONESPACE QUALITY 
ASSURANCE TESTS 
Updated June 7, 2017 
General Overview
 
If you are new to the OneSpace platform, or just new to data-based tasks, welcome! The bulk of the projects 

that are run through the OneSpace platform can be categorized as either content-based tasks or data-based 

tasks. Content-based tasks involve the written or spoken word, and include generating product descriptions or 

keywords, transcribing audio, and writing articles and blog posts. Data-based tasks, on the other hand, are 

often geared toward collecting or enhancing the attributes or characteristics of a product. Examples include 

attribute tagging, data collection, product research, and quality assurance. The goal of these tests is to 1) 

expose contributors to the types of data-based tasks often seen on our platform and 2) provide evidence of a 

contributor’s expertise with regard to data-based tasks.  

The three tests each contain 3 to 6 Sections. The questions for each Section were drawn from real tasks on our 

platform, completed by real contributors. Each task has been modified to fit the multiple choice format of the 

test. This document provides specific instructions and tips for each of the Sections contained within the 3 

tests. A link to each section can be found in the ​Table of Contents​ on the next page.  

Please note that many of these questions require you to visit external websites to find the correct answer(s). ​If 

your location or internet service provider restricts access to websites used in the questions, you will be 

unable to complete these tests.    


 
 

Table of Contents 
 
Clicking on the links below will take you directly to the instructions that you want to read​. 
 
Data Collection Test Instructions 

Section: Attribute Collection 

Instructions 

Tips 

Section: Feature Identification 

Instructions 

Tips 

Section: Model Name & Number Collection 

Instructions 

Tips 

Data Tagging and Categorization Test Instructions 

Section: Apparel Tagging 

Instructions 

Tips 

Section: Attribute Tagging 

Instructions 

Tips 

Section: Grocery Product Categorization 

Instructions 

Tips 

Section: Product Question Classification 

Instructions 

Tips 

Section: Website Categorization 


 
 
Instructions 

Tips 

Quality Assurance and Research Test Instructions 

Section: Image Flagging 

Instructions 

Violation Definitions 

Tips 

Section: Website Validation 

Instructions 

Tips 

Section: Company Research 

Instructions 

Primary Industry Definitions 

Company Segment Definition 

Tips 

Section: Question Answering 

Instructions 

Answer Guidelines 

Section: Question & Answer Moderation 

Instructions 

Answer Guidelines 
 
 

   


 
 

Data Collection Test Instructions
 

Section: Attribute Collection 

Instructions 

For these questions, you will be provided with a URL that links to a specific product. A question will be asked 

about an attribute or characteristic of the product that can be answered by examining the product page URL. 

There are 13 questions in this section.  

Tips 

● For questions asking if a product has a certain attribute, we are looking for an exact match on the 

product page to a given answer choice.  

● For questions asking about an attribute that a product does NOT have, the correct answer choice 

should not be shown anywhere on the product page.  

Section: Feature Identification 

Instructions 

For these questions, you will be provided with a URL that links to a specific product. You will be asked to 

identify all features that are associated with the product using the product page URL. There are 12 questions 

in this section. 


 
 

Tips 

● You should select all features that are present on the product page. The features will be exactly as 

shown.  

Section: Model Name & Number Collection 

Instructions 

For these questions, you will be shown an image of a product’s user manual and asked to identify the model 

name or model number(s) of the product. There are 5 questions in this section.  

Tips 

● Some product manuals may display multiple model numbers. Be sure to select the answer choice that 

shows all visible model numbers. 

   


 
 

Data Tagging and Categorization Test Instructions
 

Section: Apparel Tagging 

Instructions 

For these questions, you will view a garment or collection of garments and be asked determine which, or 

whether, a garment attribute tag is appropriate. ​This Style Dictionary​ should be used to guide your choices. 

There are 6 questions in this section. 

 Tips 

● For some items, more than one answer choice may apply. Be sure to check all applicable answer 

choices.  

Section: Attribute Tagging 

Instructions 

For these questions, you will be provided with a URL that links to a specific product. You will be asked to use 

the product page URL to identify the appropriate tags. There are 6 questions in this section. 

Tips 

● Tag information may not be explicitly called out on the product page; when this occurs, you should use 

your best judgment and/or the product image to identify the appropriate tags.  


 
 
 

Section: Grocery Product Categorization 

Instructions 

For these questions, you will be given information about a particular grocery product (e.g., product image, 

UPC, product description) and asked to identify the most appropriate product category from the options 

given. The category tree spreadsheet, ​found here​, provides additional information on each answer choice. Use 

Control + F to search the category tree spreadsheet for a particular answer choice. There are 6 questions in 

this section. 

Tips 

● General food can be used for all food-related products if a more specific category is not found; 

however, you should try to find a more specific category first. 

● Stock food photographs should go into the general food category and not Bakery or Deli. 

● All juice products must have an actual percentage of juice contained in the product stated somewhere 

on the package to be considered juice. 

● For a product to be in the category "​DELI/PARTY TRAYS OR PLATTERS​" under ​Cold Prepared Food & 

Beverages​, the product MUST be in a tray or platter. 

● Bread or bakery items that are packaged in labels that are clearly mass produced should be 

categorized under "​GENERAL FOOD​". 

○ Bread or bakery items that are made in-store at the grocery's bakery (come in paper bags that 

are not sealed or are taped shut) should go under "​BAKERY PRODUCTS​". 

■ These products also typically have a label that was printed in the store. 


 
 
● Dried fruit and nuts go into General Foods; however, trail mix (a mixture of both) goes into ​Snacks - 

Other Salty Snacks. 

● All concentrated juice mixes need to go under one of these categories: 

○ Non-Carbonated Beverages Mixes or Syrups > Juice Concentrate under 25% Juice 

○ Non-Carbonated Beverages Mixes or Syrups > Juice Concentrate 25-50% Juice 

○ Non-Carbonated Beverages Mixes or Syrups > Juice Concentrate under 50-70% Juice 

○ Non-Carbonated Beverages Mixes or Syrups > Juice Concentrate under 70%- 100% Juice 

○ Non-Carbonated Beverages Mixes or Syrups > Juice Concentrate 100% Juice 

 
Section: Product Question Classification 

Instructions 

In this section, you will be given the name of a product and a question that was asked about the product on a 

retailer website. Your job will be to choose the correct classification for the question given. There are 6 

questions in this section. 

Classifications 

● Basic Question 

○ Question can be answered by reviewing product descriptions on various retailer's websites. 

○ Can be answered with minimal research. 

○ Example Question: ​Is this camera rechargeable or does it require batteries? 

● Pricing, Shipping or Availability Question 

○ Question about pricing (sale, clearance, shipping cost, etc.). 


 
 
○ Question about when a product will be available. 

○ Question about the retailer's shipping policy, shipping times or where the retailer ships. 

○ Example Question: ​When will these be in stock? 

● Content Error or Technical Issues on the Retailer's Website 

○ Question about why the functionality on the retailer's website is not working. 

○ Question about why the content on the site says this "..." when you know it's incorrect. 

○ Example Question: ​Why can't I add this to my cart? 

● Refund or Warranty Policy 

○ Question is asking about the product’s warranty information or refund policy. 

○ Example Question: ​How long does the warranty last? 

● Looking for an Opinion (fit, color, noise level, etc,) 

○ Question is asking an opinion. 

○ Example Question: ​Does this candle smell like Christmas? 

● Question Requesting a Link or Image 

○ Question is asking for a link or an image. 

○ The exception is for an owner's manual or instruction manual; these are typically easy to find 

on a manufacturer’s website and should be classified as a Basic Question. 

○ Example Question: ​What does this product look like with a red finish? 

● Question for a Medical Professional or Tradesman (electrician, general contractor, plumber, etc.) 

○ Question is asking for advice or information on usability. 

○ Note:  Medical questions that are asking for basic, factual information should be classified as a 

Basic Question (Example: “Is this product hydrogenated?” - “How many pills are included?”). 

○ Example Question: ​Can I take this with blood pressure medication? 


 
 
● Nonsensical, Foreign Language or Spam 

○ Question is nonsensical, in a foreign language or is spam. 

○ Example Question: ​I Got The Itouch 4 .tv Got rcaplug Red ,White,Yellow Plug in on tv? 

● Product Is Missing 

○ The product is not presented in the task, or the product link is broken; ​looks like this 

○ You can select this when you have a question that you know can't be answered by a researcher 

but doesn't fit into any of the categories listed above.  

Tips 

● Questions that can be answered by anyone with an internet connection ​that do not fit into any of 

the other classifications​ should be classified as ‘Basic Question’. 

Section: Website Categorization 

Instructions 

In this section, you will be provided a website URL and asked to determine the most relevant category for the 

website. Please use the content of the website and this ​Category Tree​ to help you select the best answer 

choice. There are 6 questions in this section. 

Tips 

● Websites in non-English languages must be categorized. Most internet browsers offer to translate the 

website near the top of the page. 

10 
 
 
 

In Chrome:  

(Prompt should appear in the search bar at the top of the page; if not, the button next to the star can be 

clicked.) 

In Safari:  

In Firefox (click to enlarge):  

11 
 
 

● The ​Other - Miscellaneous​ categorization should only be used if there is truly no other option available. 

● Examples: 

○  Website: ​http://www.compare99.com 

○ Categorization: ​Shopping & Classifieds - Comparison Shopping 

○ Website:  ​http://www.webcrawler.com/ 

○ Categorization: ​Computers and Internet - Search Engines, Portals, and Directories 

○ Website: ​http://wustl.edu/ 

○ Categorization: ​​Education - Universities 

○ Website: ​http://shopperstop.us/ 

○ Categorization: ​Shopping & Classifieds - Comparison Shopping 

  

   

12 
 
 

Quality Assurance and Research Test Instructions
 

Section: Image Flagging 

Instructions 

For this section, you will be asked to indicate which violations apply to a given product image. There are 6 

questions in this section. 

Violation Definitions

● The image contains a computer generated graphic (text, drawing, logo): Images that contain drawings, 

diagrams, a graphic overlay (text or logo) or watermark. 

● The product is not photographed on a plain white background: Images that do not contain a product 

on a white background. 

● The image contains a real-life person (not a picture of a person on a product label or book cover): 

Images that contain people either using the product or are in the background of the image. 

● Image contains a prop or props (i.e., items that are not sold with the product): Images that contain 

items that have to be bought separately and are not included with the product, such as food in a 

storage container, coffee in a coffee maker, or money in a wallet. 

● Image is poor quality, out-of-focus, and/or blurry: Images that are blurry, distorted, or have low 

resolution. The primary subject of the image should be clearly visible and not out-of-focus. 

Tips 

● More than one tag may apply for some images; be sure to tag all applicable violations. 

13 
 
 
 

Section: Website Validation 

Instructions 

There are two question types associated with this section. For the first question type, you will be given 3 

website URLs to visit in order and asked to identify the first valid or working website link. Valid websites are 

defined as pages that load properly and contain published content for a business, group, or personal user. 

There are 6 questions in this section. 

For the second question type, you will visit an invalid URL and determine why the URL is invalid. Upon clicking 

on an invalid URL, you will encounter one of the scenarios outlined below:  

● A server error or client error in which the website does not load or is not found. 

● A domain for sale page (these will often say GoDaddy at the top of the page). 

● A parked page in which the website loads, but no content is published (contains strictly links and/or 

advertisements). 

● Under construction pages, which are working websites that are not yet developed. 

Tips 

For the first question type, please make sure you visit the URLs in order, from top to bottom. More than one 

website may be valid; however, your goal is to identify the first working URL. 

14 
 
 

Section: Company Research 

Instructions 

In this section, you will view screenshots of a variety of LinkedIn company pages and be asked questions about 

the company’s primary industry or industry segment. There are 6 questions in this section. 

Primary Industry Definitions

● Consumer packaged goods (CPGs):​ A broad category that includes manufacturers, sellers, and 

marketers of physical, consumable goods used by consumers and sold through a retailer. Examples: 

Procter & Gamble​, ​The Hershey Company​, ​Purina​, ​PepsiCo 

● Hybrid-CPG: ​Another broad category that identifies companies that don't clearly fit either the Retailer 

or CPG categorization. Fashion houses (​Prada​, ​Dolce and Gabbana​) are good examples of hybrid-CPGs. 

Their products aren't consumables, strictly speaking, but they do sell their products through retailers 

as well as directly (and often online). If a company sells products through a retailer but doesn't clearly 

fit the definition of a CPG, OR if you are unable to determine the primary role of the company (retailer 

or CPG), use this category. 

● Marketing Agency:​ A company that serves a marketing need for clients that may or may not involve 

content creation. Examples include: ​Ignite Visibility​, ​Periscope​, ​1 Source Media Group  

Publisher: Companies that put out or curate large collections of information (music, books, articles, 

health information) and make them available to a mass market. Examples: ​iHeartMedia​, ​WebMD​, 

IMDb​, ​The New York Times​, ​Refinery29 

● Retailer:​ A company that sells a variety of products to end users/consumers at scale. This includes 

both parent corporations that own retailers and their subsidiary companies. Retailers may sell 

15 
 
 
products online in addition to selling products through traditional 'brick and mortar' stores. Examples: 

Walmart​, ​Whole Foods​, ​TJX Companies 

● eCommerce: ​A company that sells or provides a wide variety of products and services exclusively 

online. Examples: ​Amazon​, ​Jet.com​, ​thredUP 

Other: Companies that don't fit into any of the previously defined categories. This label should be used 

very sparingly in this task. Examples include: Technology and Computer Software companies, 

companies with SaaS platforms, etc.  

● There can be overlap between these categories, but the industry label should refer to the company's 

primary role. For example: 

○ Walmart manufactures and sells CPGs under its own brand, but it primarily serves as a retailer 

of products manufactured by other CPG companies. 

○ While The Hershey Company maintains some standalone retail stores and sells its own 

products online through its website, the majority of the company revenue is generated through 

sales made at large retail stores that sell many other products. 

○ While iMDB may provide access to additional content through paid Pro accounts, the company 

primarily serves as an online source for articles and information on films and television. 

○ To summarize: CPG companies make the majority of their money selling consumable products 

to retailers. Retailers make the majority of their money selling CPGs to consumers. Hybrid-CPGs 

do not clearly fit either the CPG or Retailer definitions. Publishers produce and/or curate 

information or information-based products. 

16 
 
 
Company Segment Definition

● A company segment is a more specific categorization than the primary industry. For example, 

the primary industry for Petsmart is Retailer, but the company segment is Pet Retailer.  

Tips 

● You may need to search Google for additional information on the company.  

Section: Question Answering 

Instructions 

In this section, you will be asked to choose the best contributor response to a question about a particular 

product. A product page URL will be provided, but additional research via Google may be necessary. (NOTE: 

We are not expecting you to spend more than a couple of minutes looking elsewhere if the result cannot be 

found on the provided URL.) There are 6 questions in this section. 

Answer Guidelines

● Complete sentences should be used. 

● All questions asked should be answered (e.g., if two questions are asked in one question, the response 

should answer both of those questions.)  

● Direct copying and pasting from product pages is not allowed.  

● Second or third person should be used (no first-person pronouns such as “I”, “we”, “us”).  

● No URLs should be referenced in the answer.  

● Opinions are not allowed.  

17 
 
 
● Responses should use an expert or authoritative voice.  

○ Incorrect: “It looks like it is a full mesh door.” - “The bottom mesh screens might be an addition 

to the full screen. 

○ Correct: “This door is a full mesh door.” - “ The bottom mesh screen is an addition to the full 

screen.” 

● Explanations of how or where the answer was found should not be included. 

● Details regarding retailer deals or promotions should not be included in the answer.  

● “N/A” should be returned for questions regarding store policies, warranties or pre-orders. 

 
Section: Question & Answer Moderation 

Instructions 

As in the previous section, these questions will present you with a customer question about a product and a 

product page URL. However, in these questions, you will also be provided with the contributor response. Your 

goal will be to determine whether or not the contributor response is sufficient, based on the product page (or 

other pages you find via Google search) and the Answer Guidelines. There are 6 questions in this section. 

Answer Guidelines

● Complete sentences should be used. 

● All questions asked should be answered (e.g., if two questions are asked in one question, the response 

should answer both of those questions.)  

● Direct copying and pasting from product pages is not allowed.  

● Second or third person should be used (no first-person pronouns such as “I”, “we”, “us”).  

18 
 
 
● No URLs should be referenced in the answer.  

● Opinions are not allowed.  

● Responses should use an expert or authoritative voice.  

○ Incorrect: “It looks like it is a full mesh door.” - “The bottom mesh screens might be an addition 

to the full screen. 

○ Correct: “This door is a full mesh door.” - “ The bottom mesh screen is an addition to the full 

screen.” 

● Explanations of how or where the answer was found should not be included. 

● Details regarding retailer deals or promotions should not be included in the answer.  

● “N/A” should be returned for questions regarding store policies, warranties or pre-orders. 

19