Θέμα 64 από 64· Σύνδεση με τη μηχανική λογισμικού και την ψηφιακή παράδοση

Παραγωγικότητα της ΤΝ στον δημόσιο τομέα

Οι μετρικές για το τι κάνει πράγματι η υποστήριξη προγραμματισμού με ΤΝ στη μηχανική παραγωγή — ποσοστά αποδοχής προτάσεων, επιταχύνσεις ελεγχόμενων μελετών, διεκπεραιωτική ικανότητα PR και διατήρηση κώδικα — φέρουν μια πραγματικά αντιφατική βάση τεκμηρίων ακόμη και πριν προστεθούν οι περιορισμοί του δημόσιου τομέα: η ταξινόμηση δεδομένων περιορίζει ποια μέρη ενός κληροδοτημένου συνόλου μπορεί να αγγίξει ένα εργαλείο ΤΝ καθόλου, οι κύκλοι προμήθειας σημαίνουν ότι το εργαλείο υπό αξιολόγηση είναι συχνά μια γενιά μοντέλου πίσω από την τρέχουσα ικανότητα, και οι απαιτήσεις διαβάθμισης ασφάλειας ρυθμίζουν ποιος μπορεί να το χρησιμοποιήσει πού.

Γιατί έχει σημασία

Οι δύο πιο συχνά παρατιθέμενες ελεγχόμενες μελέτες δείχνουν σε αντίθετες κατευθύνσεις. Η RCT του GitHub Copilot του 2023 των Peng et al. βρήκε ότι οι προγραμματιστές ολοκλήρωσαν μια εργασία HTTP-server σε καθαρό έδαφος 55,8% ταχύτερα με το Copilot (1ω11λ έναντι 2ω41λ, n=95). Η RCT του METR του 2025 βρήκε ότι έμπειροι προγραμματιστές ανοιχτού κώδικα που εργάζονταν στα δικά τους ώριμα αποθετήρια ήταν 19% πιο αργοί με τα εργαλεία ΤΝ των αρχών του 2025, ενώ πίστευαν ότι ήταν περίπου 20% ταχύτεροι. Και οι δύο μελέτες είναι ορθές· η αντίφαση είναι το εύρημα — η αποτελεσματικότητα σε εργασίες σε καθαρό έδαφος δεν μεταφέρεται στην αποτελεσματικότητα σε ώριμη βάση κώδικα, και μεγάλο μέρος της κυβερνητικής μηχανικής είναι εργασία σε ώριμη βάση κώδικα σε σύνολα που είναι παλαιότερα και πιο ιδιόρρυθμα από το μέσο εμπορικό αποθετήριο. Το Generative AI Framework for HMG του Central Digital and Data Office (2024, https://www.gov.uk/government/publications/generative-ai-framework-for-hmg) καθορίζει αρχές για υπεύθυνη υιοθέτηση ακριβώς επειδή αυτή η βάση τεκμηρίων δεν μπορεί απλώς να εισαχθεί από επιδείξεις προμηθευτών· τα υπουργεία αναμένεται να αξιολογούν τα εργαλεία έναντι των δικών τους απαιτήσεων χειρισμού δεδομένων και ασφάλειας πριν την ανάπτυξη.

Τα μαθηματικά

Ποσοστό αποδοχής   = προτάσεις που έγιναν δεκτές / προτάσεις που εμφανίστηκαν
Ποσοστό διατήρησης = κώδικας ΤΝ που επιβιώνει έως το merge / κώδικας ΤΝ που έγινε δεκτός
Επιτάχυνση         = (t_έλεγχος − t_ΤΝ) / t_έλεγχος  (ΑΠΟΚΛΕΙΣΤΙΚΑ από ελεγχόμενη σύγκριση)
Delta διεκπεραιωτικής ικανότητας = Δ merged PR/προγραμματιστή/εβδομάδα

Συντελεστής κάλυψης δημόσιου τομέα:
  μερίδιο επιλέξιμης βάσης κώδικα = LOC σε συστήματα όπου η ταξινόμηση
    (OFFICIAL, OFFICIAL-SENSITIVE, SECRET) επιτρέπει καθόλου το εργαλείο

Μοντέλο αξίας = προγραμματιστές × επιλέξιμη-κάλυψη × χρόνος που εξοικονομήθηκε × πλήρες κόστος × αξιοποίηση
               — κάθε όρος χρειάζεται τοπική μέτρηση, και ο συντελεστής κάλυψης
               δεν έχει αντίστοιχο στον ιδιωτικό τομέα

Επεξεργασμένο παράδειγμα

Ένα κυβερνητικό υπουργείο δοκιμάζει πιλοτικά έναν βοηθό προγραμματισμού ΤΝ σε 300 προγραμματιστές, αλλά μόνο συστήματα ταξινομημένα OFFICIAL είναι επιλέξιμα για χρήση εργαλείου — 70% του συνόλου ανά κατανομή προσωπικού, με το υπόλοιπο 30% (συστήματα υψηλότερης ταξινόμησης) να αποκλείεται εντελώς.

Επιλέξιμοι προγραμματιστές = 300 × 0,70 = 210

Αποτέλεσμα πιλότου: αυτοαναφερόμενος χρόνος που εξοικονομήθηκε 40 λεπτά/ημέρα·
                    μετρημένη εξοικονόμηση σε επίπεδο εργασίας 12 λεπτά/ημέρα (0,2ω)
                    — το χάσμα αντίληψης METR, αναπαραγόμενο στην πράξη

Αποτίμηση του ΜΕΤΡΗΜΕΝΟΥ αριθμού:
  210 × 0,2ω × 220 ημέρες × £55/ώρα πλήρες κόστος × 0,6 αξιοποίηση
  = 210 × 44 ώρες × £55 × 0,6
  = 9.240 ώρες × £55 × 0,6 ≈ £304.920/έτος δυναμικότητα

Κόστος: 210 αδειοδοτημένες θέσεις × £22/μήνα × 12 ≈ £55.440/έτος

Καθαρός λόγος δυναμικότητας ≈ 304.920 / 55.440 ≈ 5,5:1

Χρηματοδοτήσιμο στο περίπου ένα τρίτο του αυτοαναφερόμενου οφέλους, και μόνο αφού εφαρμοστεί το πλαφόν ταξινόμησης — η αδειοδότηση και των 300 προγραμματιστών βάσει του αυτοαναφερόμενου αριθμού θα είχε υπερεκτιμήσει και τον επιλέξιμο πληθυσμό και την πραγματική εξοικονόμηση.

Σύνδεση με τη μηχανική λογισμικού

Οι πειθαρχίες που μεταφέρονται άμεσα: τρέξτε πραγματιστικές δοκιμές στη δική σας βάση κώδικα του υπουργείου και σε πραγματικά αιτήματα και όχι σε εργασίες επίδειξης προμηθευτή, επειδή το αποτέλεσμα METR είναι ειδικά εύρημα ώριμης βάσης κώδικα· αντιμετωπίστε το ποσοστό αποδοχής ως υποκατάστατο, όχι ως αποτέλεσμα — η υψηλή αποδοχή με χαμηλή διατήρηση είναι το ισοδύναμο λογισμικού της υπερδιάγνωσης· ζευγαρώστε κάθε ισχυρισμό διεκπεραιωτικής ικανότητας με έλεγχο σταθερότητας, αφού η έκθεση DORA του 2025 βρήκε ότι η υιοθέτηση ΤΝ ανεβάζει τη διεκπεραιωτική ικανότητα αλλά υποβαθμίζει τη σταθερότητα αλλαγών, που είναι ακριβώς η ανάλυση καθαρού οφέλους που οι μετρικές DORA για τη δημόσια αξία χτίστηκαν να εκτελούν· και να είστε ειλικρινείς ότι τα εργαλεία ΤΝ μπορούν να διευρύνουν, όχι να στενέψουν, το χάσμα σε κληροδοτημένα σύνολα βαριά σε τεχνικό χρέος, επειδή τα δεδομένα εκπαίδευσης υποεκπροσωπούν τον κώδικα COBOL, 4GL και εξατομικευμένο mainframe που είναι συνηθισμένος στην κυβέρνηση, οπότε η ποιότητα των προτάσεων ακριβώς στα συστήματα που χρειάζονται περισσότερο βοήθεια είναι συχνά η πιο αδύναμη. Αυτό βρίσκεται δίπλα στο ευρύτερο ερώτημα αξίας της ΤΝ στην κυβέρνηση και πρέπει να διέπεται από τους ίδιους περιορισμούς αξίας κυβερνοασφάλειας δημόσιου τομέα που περιορίζουν πού μπορεί να δει οποιοδήποτε εργαλείο τρίτου κώδικα ή δεδομένα καθόλου.

Παγίδες

  • Μεταμόσχευση μελέτης προμηθευτή: η εφαρμογή επιταχύνσεων RCT σε καθαρό έδαφος σε εργασία κληροδοτημένης ενσωμάτωσης είναι ακριβώς το σφάλμα που αποκάλυψε η μελέτη METR.
  • Η αυτοαναφορά ως μέτρηση: ένα χάσμα 20 ποσοστιαίων μονάδων αντίληψης-έναντι-μετρημένου είναι η μεγαλύτερη γνωστή μεροληψία σε αυτή τη βιβλιογραφία, και φουσκώνει τις επιχειρηματικές περιπτώσεις που στηρίζονται μόνο σε έρευνες προγραμματιστών.
  • Η αγνόηση του πλαφόν ταξινόμησης: τα μοντέλα αδειοδότησης και αξίας που χτίζονται στο συνολικό προσωπικό και όχι στο επιλέξιμο, εγκεκριμένο ως προς την ταξινόμηση υποσύνολο υπερεκτιμούν συστηματικά και την κόστος-αποτελεσματικότητα και την εφικτή κάλυψη.
  • Καθυστέρηση κύκλου προμήθειας: η προμήθεια εργαλείων βάσει πλαισίου μπορεί να σημαίνει ότι ένας πιλότος αξιολογεί μια γενιά μοντέλου που είναι 12–18 μήνες πίσω από το δημόσια διαθέσιμο μέχρι τη στιγμή της πλήρους ανάπτυξης, κάνοντας την παραδοχή επιτάχυνσης της αρχικής επιχειρηματικής περίπτωσης παρωχημένη πριν την έναρξη λειτουργίας.

Πηγές