Service-Meister KROHNE

F&E Talk

15.02.2023
Agenda

› Studie
› Generischer Word2Vec Re-trainer
› TS- AutoML

2
Studie

3
Motivation

› Aufgabe: ähnliche Serviceberichte zur gegebenen

Problembeschreibung suchen
› Unsere Suchtechnologien:
– Schlagwortsuche: Elasticsearch-Query
– Synonymsuche: Word2Vec-Modell + Elasticsearch-
Query
– Bi-Encoder (Berliner Hochschule für Technik)
› Suchtechnologien evaluieren

5
Allgemeines zur Studie
› Ziel: quantitativ zu bewerten:
– ob die implementierte Suche gut passende Ergebnisse
liefert -> Servicetechniker:innen unterstützen
– ob eine Suchtechnologie besser als die andere ist
› Durchführung in einer App
› Drei Stufen:
– Pilotstudie
– inovex intern
– Krohne Service-techniker:innen

6
 Studie-Design
› Within-Subjects
› Drei Versionen:

Version_1= { Version_2= { Version_3= {

1: ['Fehlermeldung IFC 100',Schlagwortsuche], 1: ['Fehlermeldung IFC 100', Synonymsuche], 1: ['Fehlermeldung IFC 100', BHT-Modell],
2: ['Inbetriebnahme', BHT-Modell], 2: ['Inbetriebnahme', Schlagwortsuche], 2: ['Inbetriebnahme', Synonymsuche],
3: ['Messwertschwankungen', Synonymsuche], 3: ['Messwertschwankungen', BHT-Modell], 3: ['Messwertschwankungen', Schlagwortsuche],
… … …
… …
…
18:['keine Ausgangssignale', Schlagwortsuche] 18:['keine Ausgangssignale', BHT-Modell]
18:['keine Ausgangssignale', Synonymsuche]

} } }

› 18 Problembeschreibungen -> 6 von jeder

Suchtechnologie
› Likert-Skala

8
Studie-App

9
Auswertung der Ergebnisse
› Hypothesentest (Wilcoxon-ranked-signed test):
Beide Suchfunktionen sind gleich gut?

Beispiel Test:
Liste 1: Schlagwortsuche
[Durchschnittliche Bewertung von Teilnehmer
1 für die Schlagwortsuche, Durchschnittliche
Bewertung von Teilnehmer 2 für die
Schlagwortsuche, ….]
Liste 2:
[Durchschnittliche Bewertung von Teilnehmer
1 für die Synonymsuche, Durchschnittliche
Bewertung von Teilnehmer 2 für die Synonymsuche BHT-Model
Synonymsuche, ….]

10
Generischer Word2Vec Re-trainer

11
Warum?

› Retraining automatisieren
› Code wiederverwenden

12
Architektur
extern local environment
vocabulary

Base Models (via API Call) local storage Training-Service

- Word2Vec KROHNE Handbücher - store model - local docker service
- Word2Vec Wikipedia Korpus (deutsch) - startup on train trigger
- Word2vec Wikipedia Korpus (englisch) - fine-tuning of model x with given
- etc. vocabulary
(1) download [model x] (2) train
[model x, vocabulary] Library: Gensim

MLflow
- external instance
- e.g., ESW or SVM

(3) store [model]

13
Ablauf

14
 TS-AutoML
Generic, Open-Source Service for Automated Training and Ad-hoc Usage of
Machine Learning Applications

15
 Ziel

› Automatisiertes Training und Ad-hoc Nutzung von Machine Learning

Anwendungen

› Ready-to-use, out of the box

› Open source

16
Architektur
/store /train /predict
request prediction:
<data-points> return <prediction>
<params>

start
store data:
training:
Prediction Service
<dataset>
<params>
Feature Processing Prediction

Training Service
request:
<dataset> Feature-Engineering Model-Training Model-Evaluation
› extract TS features › with automated › automated evaluation of
› importance-based libraries (currently all trained models
Filesystem selection H2O) (currently sklearn)
return:
<dataset>

push: <models>, <metadata> provide:

<model>
<metadata>
API endpoints
/store:
Store dataset in filesystem for later
training purposes.

/train:
Start automated training pipeline,
evaluate models and push models and
metadata to MLflow.

/predict:Pull desired model for

desired use case and make predictions for
provided data points.

17
Architektur
MLflow-Oberfläche

18
Architektur
/store /train /predict
request prediction:
<data-points> return <prediction>
<params>

start
store data:
training:
Prediction Service
<dataset>
<params>
Feature Processing Prediction

Training Service
request:
<dataset> Feature-Engineering Model-Training Model-Evaluation
› extract TS features › with automated › automated evaluation of
› importance-based libraries (currently all trained models
Filesystem selection H2O) (currently sklearn)
return:
<dataset>

push: <models>, <metadata> provide:

<model>
<metadata>
API endpoints
/store:
Store dataset in filesystem for later
training purposes.

/train:
Start automated training pipeline,
evaluate models and push models and
metadata to MLflow.

/predict:Pull desired model for

desired use case and make predictions for
provided data points.

19
Vielen Dank!