Demo på egna avtal: protokoll för legal tech

Kör demon på era egna avtal. Leverantörens exempel visar vad verktyget är bra på, era avtal visar om det är bra på ert arbete. Här är protokollet: vilka dokument som väljs, vilka uppgifter varje leverantör får, hur svaren poängsätts, och vad demon avslöjar.

Uppdaterad av Nils-Erik Jansson

Varför egna avtal

Leverantörens demoavtal är valda för att verktyget ska lysa: engelska, välstrukturerade, med klausuler verktyget känner igen. Era avtal är svenska, ibland skannade, med bilagor som hänvisar till varandra och med en playbook verktyget aldrig sett. Det är där verktyget ska fungera, och det är där det ska testas. LegalBenchmarks utvärderingsramverk bygger på samma princip: en stegvis utvärdering med kriterier framtagna av praktiserande jurister, som ett team anpassar till sitt eget val [1]. Det här är min tillämpning av steget demo.

Urvalet

Fem till åtta dokument, valda för att täcka det ni faktiskt gör. Ett typiskt urval för en juristfunktion: ett eget standardavtal, ett avtal på motpartens papper med avvikelser från er playbook, ett långt avtal med bilagor, ett skannat äldre avtal, ett avtal på engelska, och ett dokument som inte är ett avtal men som ni ofta hanterar, till exempel en upphandlingsbilaga eller en policy. Personuppgifter avidentifieras. Dokumenten är desamma för alla leverantörer.

Lägg till er playbook för en avtalstyp, skriven med standard, fallback och gräns, mer i guiden om playbook för avtalsgranskning. Den är nyckeln till den viktigaste uppgiften.

Sex uppgifter

Samma sex för alla, i samma ordning, med samma formulering. Mina standarduppgifter:

  1. Sammanfatta det långa avtalet på en sida med de tio viktigaste villkoren och var de står.
  2. Granska motpartsavtalet mot vår playbook och lista avvikelser med allvarlighetsgrad och förslag ur fallbacks.
  3. Hitta och ange uppsägningstid, förnyelse, ansvarsbegränsning och lagval i alla dokumenten i en tabell.
  4. Besvara en fråga vars svar kräver att två dokument läses tillsammans, till exempel om bilagan ändrar huvudavtalets betalningsvillkor.
  5. Utkast till ett svar till motparten på två avvikelser, i vår ton och på svenska.
  6. En fråga vars svar inte finns i dokumenten, för att se om verktyget säger det eller hittar på.

Två av uppgifterna hålls hemliga till demon.

Poängsättningen

Två bedömare från funktionen, oberoende av varandra, samma mall. För varje uppgift: rätt eller fel i sak, källhänvisning till rätt ställe i dokumentet, svenska som går att använda utan omskrivning, tid, och hur mycket leverantören behövde hjälpa till. Noll till tre per punkt. Bedömarna jämför sedan och skriver en mening per uppgift om varför. Summan per leverantör är underlag för samtalet om vilka skillnader som spelar roll för er, och avgör inte valet.

Vad demon avslöjar

  • Källhänvisningarna. Verktyg som svarar rätt men inte kan peka på var det står går inte att granska, och granskning är kravet, se advokatsekretess och AI. Uppgift sex visar om verktyget säger att svaret inte finns eller hittar på ett.
  • Svenskan. Se om sammanfattningar och utkast i er ton går att använda utan omskrivning, eftersom omskrivning är arbete som kommer tillbaka varje dag.
  • Playbooken. Hur verktyget tar till sig era positioner, om det jämför ordagrant eller ungefärligt, och om det kan förklara en avvikelse för någon som inte är jurist. Här syns skillnaden mellan ett verktyg byggt för juridik och ett allmänt verktyg med juridiska tillägg, åt båda håll.
  • Skannade dokument och bilagor. Se om verktyget klarar det äldre skannade avtalet och frågan som kräver två dokument, och inte bara rena pdf:er.

Titta också på djupet bakom ytan. Min plattform för avtalshantering var inte den snyggaste. Andra CLM-verktyg hade dra-och-släpp och en mer polerad yta, mitt hade mer djup och kontroll. Slutanvändarens enkla flöde fanns för att juristerna hade gjort tankearbetet i förväg.

Fel som gör demon värdelös

Fel är att använda olika dokument till olika leverantörer, att låta leverantören välja uppgifterna, att låta bara chefsjuristen bedöma och att inte skriva ned bedömningen samma dag. Ett fel är också att låta demon ersätta piloten: demon säger vilka två leverantörer som ska testas i verkligt arbete, inte vilken som ska köpas. Se guiden om pilotkriterier.

Demon på egna avtal är ett av stegen i valet av legal tech, efter kravlistan och före piloten. HOVR Legal tar fram urvalet och uppgifterna med er, håller i demorna så att de blir lika och sammanställer bedömningarna. Alla verktyg bedöms efter samma protokoll. Hur faktabladen om legal tech är gjorda står på sidan Så är faktabladen gjorda.

Läs också kravlista för CLM i en svensk juristfunktion.

Vanliga frågor

Får vi lämna ut våra avtal till en leverantör för en demo?
Med sekretessavtal och avidentifiering av personuppgifter, oftast ja för avtal där ni själva är part och motparten inte är en klient. Byråer använder klientavtal bara med klientens medgivande, eller avidentifierade så att klienten inte kan identifieras. Välj hellre fem avtal ni får använda än tjugo ni måste fråga om. Demon kan också köras i er egen miljö, på en testlicens, så att inget lämnar bolaget.
Hur lång ska en demo vara?
Två timmar per leverantör, varav en timme är era uppgifter på era dokument och en timme är frågor. Längre demos blir presentationer. Kortare hinner inte igenom uppgifterna. Alla leverantörer får samma tid, samma dokument och samma uppgifter, i samma ordning, inom samma två veckor.
Vad gör vi om leverantören vill förbereda sig på dokumenten?
Låt dem få dokumenten en dag i förväg, alla leverantörer lika. Det ni vill se är vad verktyget gör när det är konfigurerat för er, inte vad det gör kallt. Men behåll två av uppgifterna hemliga till demon, så att ni också ser vad som händer utan förberedelse. Skillnaden mellan de två är i sig ett resultat.

Källor

  1. [1]LegalBenchmarks.ai, The Evaluation Framework

Tillbaka till Systemval

Mer under Systemval