Merge pull request #34198 from AdrianVovk/updatectl-bugfixes

updatectl: Bugfixes

man: fix typos

Closes #34199.

Signed-off-by: Christoph Anton Mitterer <mail@christoph.anton.mitterer.name>

progress-bar: Add unbuffered variant

The progress_bar functions do their own buffering: they reconfigure
stderr, then print, then flush and disable buffering on their own. In
situations where multiple progress bars are being drawn at a time (for
example, in updatectl), it's even more efficient to hoist the buffering
and flushing to the call site, and avoid drawing each progress bar
individually.

To that end, new _unbuffered variants of the progress_bar functions. And
we use them in updatectl.

updatectl: Improve behavior of progress logging

This applies a couple of aesthetic changes to the way updatectl renders
progress information

1. We invert from "ICON TARGET MESSAGE" to "TARGET: ICON MESSAGE" to
   better fit in with the systemd progress bars, which look like
   "TARGET [==========---------] XX%". The original version of the
   sysupdated PR implemented its own progress bars that were oriented
   differently: "[==========---------] TARGET XX%". When we swapped
   the progress bar we didn't swap the status messages

2. When a target finishes updating, instead of leaving a 100% progress
   bar on screen for potentially extended periods of time (which implies
   to the user that the update isn't actually done...), we show a status
   message saying the target is done updating.

3. Fixed a minor bug where an extra newline would be printed after the
   total progress bar. At the top of the rendering function, we scroll
   the terminal's scroll-back just enough to fit a line for each target,
   and one for the total. This means that we should not print an
   additional line after the total, or else it'll scroll the terminal's
   buffer by an additional character. This bug was introduced at some
   point during review

4. Clears the Total progress bar before quitting. By the time we're
   quitting, that progress bar will be showing no useful status for the
   user. Also, the fix in point 3 will cause the shell's prompt to
   appear on the same line as the Total progress bar, partially
   overwriting it and leaving the shell in a glitchy state.

man: fix typo

Follow-up for 1ff0164be5978b824d2213bc546dac66619e1a48.

updatectl: Ensure we clear the progress bar

Otherwise we end up half-overwriting the progress bar, which looks buggy

sysupdated: Register known error types

This fixes a bug introduced during review of sysupdated. Originally,
we just returned EALREADY verbatim to signify that the target is
already up-to-date. Then we switched this to a proper error
(org.freedesktop.sysupdate1.NoCandidate) during review. But that now
maps to EIO, not EALREADY. Thus, whenever there's nothing to update,
updatectl would report I/O errors to the user, even though nothing
actually went wrong.

progress-bar: Put a space after the prefix

We always want a space there. So let's just put one in the drawing
routine, and adjust the call cites to avoid adding a second one.

Merge pull request #34189 from poettering/cryptenroll-slot-fix

cryptenroll: don't return slot 0 when we have no policy to search for

repart: Keep existing directory timestamps intact when copying

Otherwise, when merging multiple directory trees, the output becomes
unreproducible as the directory timestamps will be changed to the current
time when copying identical directories from the second tree.

We introduce a new copy flag to achieve this behavior.

Use correct error code in log message in pkcs11_token_find_x509_certificate (#34187)

test: when refusing to run slow tests, mention how to run them

Let's be helpful and provide an actionable hint.

crypenroll: make slot wiping on pin change a bit more explicit

cryptenroll: don't return slot 0 when we have no policy to search for

If the policy hash is empty we shouldn't return "0" from
search_policy_hash(), because that is understood as slot index 0, but
that's unlikely to match the policy.

Hence, return -ENOENT instead, indicating that we can't find a matching
slot.

cryptenroll: iovec'ify a few more things

mkosi: update debian commit reference

* bb6db3edfe Install new sd-sysupdated files in systemd-container

treewide: use sd_json_variant_un{hex|base64}() pervasively

Use these helpers whenever appropriate. Drop separate string checks,
since these helpers already do them anyway.

No actual code change, just a rework to make use of a nice helper we
have already.

update TODO

hwdb: add entry for Dell AlpsPS/2 ALPS DualPoint TouchPad

Closes #34133.

mkosi: Don't fetch remote if the commit to check out already exists

If the commit we're about to check out already exists in the local
repository, don't fetch from the remote repository.

 hwdb.d/60-keyboard.hwdb: add Clevo mic mute quirk for V5x dGPU

Signed-off-by: Filip Lewiński <filip.lewinski@3mdeb.com>

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Göran Uddeborg <goeran@uddeborg.se>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

test: add test for GetUnitByPID() D-Bus method

For issue #34104.

core: Fix log message typo

mkosi: update fedora commit reference

* a67221c3f0 Always build ukify package
* abb115a905 Do not use patch to modify systemd-user pam config file
* 196ec98228 Drop %upstream conditionalization for patches

core: do BindMount/MountImage operations in async control process

These operations might require slow I/O, and thus might block PID1's main
loop for an undeterminated amount of time. Instead of performing them
inline, fork a worker process and stash away the D-Bus message, and reply
once we get a SIGCHILD indicating they have completed. That way we don't
break compatibility and callers can continue to rely on the fact that when
they get the method reply the operation either succeeded or failed.

To keep backward compatibility, unlike reload control processes, these
are ran inside init.scope and not the target cgroup. Unlike ExecReload,
this is under our control and is not defined by the unit. This is necessary
because previously the operation also wasn't ran from the target cgroup,
so suddenly forking a copy-on-write copy of pid1 into the target cgroup
will make memory usage spike, and if there is a MemoryMax= or MemoryHigh=
set and the cgroup is already close to the limit, it will cause an OOM
kill, where previously it would have worked fine.

ukify: Skip test on architectures without UEFI

test: mount ld.so.cache in minimal nspawn container if present

In some cases (SUSE Tumbleweed) this is needed as a library (libz) is
not in the default path, so it fails to run.

Merge pull request #34160 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

po: Translated using Weblate (Swedish)

Currently translated at 92.8% (235 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 92.4% (234 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 91.3% (231 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.9% (230 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.5% (229 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.1% (228 of 253 strings)

Co-authored-by: Göran Uddeborg <goeran@uddeborg.se>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

po: Translated using Weblate (Swedish)

Currently translated at 92.8% (235 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 92.4% (234 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 91.3% (231 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.9% (230 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.5% (229 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 90.1% (228 of 253 strings)

po: Translated using Weblate (Swedish)

Currently translated at 89.7% (227 of 253 strings)

Co-authored-by: Weblate Translation Memory <noreply-mt-weblate-translation-memory@weblate.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

mkosi: Switch back to src.opensuse.org for opensuse spec

Supposedly they're never going to rewrite their git history again
so let's give src.opensuse.org another try given that code.opensuse.org
is down again.

test: Set show_status=error

The TEST-64-UDEV-STORAGE tests fail before we even start the test.
Let's set show_status=error to get more information when those failures
happen.

user-record: add helper that checks if a user record is root or the nobody user

Merge pull request #34142 from DaanDeMeyer/update-distributions

mkosi: Update distribution packaging commits

nspawn: propagate SSH authorized keys when binding user into contaier via --bind-user=

This means the host user typically can just log into his own account
bound into the container via SSH.

TODO: add note about live mounting via pinned namespace fd

mkosi: use util-linux's autologin

login is now from util-linux so credentials are supported.
It also needs to be pulled in as it's Protected: yes rather than
Essential: yes.

Keep the old setting for Ubuntu as that still uses login from shadow.

mkosi: update debian commit reference

* aa17b7ddf9 Fix stage1 build
* 2c13391e33 Update changelog for 256.5-1 release
* 7d13196926 autopkgtest: skip TEST-64-UDEV-STORAGE due to qemu crash
* 47769e8d7c Drop patch merged upstream
*   4e8e9315b5 Update upstream source from tag 'upstream/256.5'
|\
| * 71b885347d New upstream version 256.5
* 89a33e5408 d/e/checkout-upstream: undo quilt patches before switching debian branch
* 3c942ecb0d d/e/checkout-upstream: do not rebase on main when building stable branches

mkosi: update fedora commit reference

* 28076e6232 Only make python3-pillow Recommends on Fedora
* a9807c4486 Do not require grubby on CentOS Stream 9
* d38cacfd3a Version 256.5
* 38291e13c1 Disable integration of userdb in sshd
* 53118d2112 Backport patch to only read /proc/cmdline when not in container
* 903e8e0f88 Backport upstream patch to try more initrd variants in 90-loaderentry.install
* b29a66006c Version 256.4
* 1cdae03391 Update tmpfiles --destroy-data patch
* 4fd4ef72a6 Upload sources
* 3c3772150d Version 256.3

mkosi: update opensuse commit reference

* 2866762da8 Update systemd to version 256.4 / rev 429 via SR 1192932

mkosi: update arch commit reference

* ea5f086275 handle uncommon license
* 43e43faab8 upgpkg: 256.5-1: new upstream release
* 7f4443062f Provide /etc/cryptsetup-keys.d/
* 262a14b8e5 upgpkg: 256.4-1: new upstream release
* 1aff4eb5f6 upgpkg: 256.3-1: new upstream release

mkosi: Include noarch in dnf repoquery architectures

ukify is noarch so we should include noarch to get all results.

mkosi: Always specify _sourcedir as an absolute path

A relative path is not supported by rpm so let's make sure we specify
it as an absolute path.

mkosi: Don't apply distribution specific patches

rpm upstream is going to imply --noprep when running with --build-in-place so let's do the same on older
versions of rpm (https://github.com/rpm-software-management/rpm/commit/e0925ad6e3185030b004343f73a5917fdc562d6c)

Also, to keep things consistent between distros, run with --noprepare
on Arch Linux as well (we already skip patches on Debian/Ubuntu).

To keep things working on Arch, we apply the one downstream patch
manually ourselves.

mkosi: Update to latest

Merge pull request #34143 from DaanDeMeyer/tests

 test-dhcp-server: Migrate to new assertion macros

test-dhcp-server: Migrate to new assertion macros

Merge pull request #34123 from yuwata/sd-device

sd-device: expose sd_device_get_device_id() and sd_device_get_driver_subsystem()

Merge pull request #34139 from yuwata/sd-device-monitor

sd-device-monitor: introduce sd_device_monitor_get_events() and _get_timeout()

sd-device-monitor: introduce sd_device_monitor_get_events() and _get_timeout()

Follow-up for bab889c51e888c1b288fed253c349e979a6cf31a (#33032).

Currently, they unconditionally returns EPOLLIN and USEC_INFINITY, respectively.
Just for consistency with sd-bus, sd-journal, sd-varlink, and so on. All
they have _get_fd(), _get_events(), and _get_timeout().

Closes #34094.

test: use more suitable assertions

sd-varlink: make the argument type consistent with header

udevadm/info: also show driver subsystem and device ID

This adds two more fields in 'udevadm info':
- J for device ID, e.g. b128:1, c10:1, n1, and so on.
- B for driver subsystem, e.g. pci, i2c, and so on.

These, especially the device ID field may be useful to find udev
database file under /run/udev/data for a device.

sd-device: make sd_device_new_from_subsystem_sysname() stricter

As workarounded by fc0cbed2db860d163d59d04c32fa6ec30bd0606f, the pair of
subsystem and sysname is not unique. For examples,
- /sys/bus/gpio and /sys/class/gpio, both have gpiochip%N. However, these point to different devpaths.
- /sys/bus/mdio_bus and /sys/class/mdio_bus,
- /sys/bus/mei and /sys/class/mei,
- /sys/bus/typec and /sys/class/typec, and so on.

Let's refuse to provide sd_device object in such cases.

sd-device: make device_get_device_id() public

We have already exposed sd_device_new_from_device_id(), but we have
never provide the way to get device ID from an existing sd_device
object.

sd-device: introduce sd_device_get_driver_subsystem()

To create the sd_device object of a driver, the function
sd_device_new_from_subsystem_sysname() requires "drivers" for subsystem
and e.g. "pci:iwlwifi" for sysname. Similarly, sd_device_new_from_device_id()
also requires driver subsystem. However, we have never provided a
way to get the driver subsystem ("pci" for the previous example) from
an existing sd_device object.

Let's introduce a way to get driver subsystem.

sd-device: refuse earlier when too long ifname is passed to sd_device_new_from_ifname()

Otherwise, alloca() called in strjoina() may trigger assertion.

This partially reverts 3652891c3904992e21739e9bfb004073841db63c.
The commit mistakenly dropped the check.

sd-device: make sd_device_get_devtype() return 0 on success again

This partially reverts the commit 730b76bd2cd5f0866baa738ae283e3b62544a28f.

Before the commit, the function returned 0 on success, but the commit
made the function always return 1, as if device->devtype is NULL, the
function returns -ENOENT in the above.

Fortunately, udev_device_get_devtype() does not propagate any
non-negative value from sd_device_get_devtype(). Hence, hopefully we can
safely revert the change.

stub: restore random seed update logic

Commit 201e0d53bdd43 ("stub: split out random seed part out of run()")
looks like refactoring but apparently it changed the logic when random
seed is refreshed in the ESP completely. Previously, process_random_seed()
was called when either:
- sd-stub was not present (LoaderFeatures var is unset) OR
- sd-stub was present but EFI_LOADER_FEATURE_RANDOM_SEED flag was unset.
Post-change, refresh_random_seed() bails under the exact same conditions (no
sd-stub or EFI_LOADER_FEATURE_RANDOM_SEED is unset) and thus
process_random_seed() is NOT called.

Restore the original logic. efivar_get_uint64_le()'s return value doesn't
require checking: loader_features is initialized to 0 and in case of failure it
stays untouched.

vmspawn: fix duplicate logging on oom

Merge pull request #33570 from AdrianVovk/sysupdate-incomplete

sysupdate: Handle incomplete versions

exec-invoke: remove redundant empty lines

service: add 'debug' option to RestartMode=

One of the major pait points of managing fleets of headless nodes is
that when something fails at startup, unless debug level was already
enabled (which usually isn't, as it's a firehose), one needs to manually
enable it and pray the issue can be reproduced, which often is really
hard and time consuming, just to get extra info. Usually the extra log
messages are enough to triage an issue.

This new option makes it so that when a service fails and is restarted
due to Restart=, log level for that unit is set to debug, so that all
setup code in pid1 and sd-executor logs at debug level, and also a new
DEBUG_INVOCATION=1 env var is passed to the service itself, so that it
knows it should start with a higher log level. Once the unit succeeds
or reaches the rate limit the original level is restored.

Merge pull request #34114 from yuwata/resolvconf-p

resolve: support 'resolvconf -p'

tests: Add ASSERT_OK_EQ()

tests: Remove some unnecessary quotes

core-varlink: add missing runtime scope check for manager_varlink_managed_oom_connect()

Follow-up for 2250c996cfc41afb30cd086adeed18fd41a683ba

Merge pull request #34124 from YHNdnzj/socket-accept-name

core: honor FileDescriptorName= too for Accept=yes sockets, plus several other cleanups

NEWS: mention "resolvconf -p"

test: add more test cases for resolvconf

resolvconf: disable default route when -p is specified

Internally, the switch triggers 'resolvectl default-route INTERFACE no'.

Closes #34112.

resolvconf: clear domains if nothing specified

resolvectl: make enum name consistent with the option name

po: Translated using Weblate (Slovenian)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Martin Srebotnjak <miles@filmsi.net>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sl/
Translation: systemd/main

resolved: clear the AD bit for bypass packets

When the bypass logic is invoked, such as for queries to the stub with
the DO bit set, be certain to clear the AD bit in the reply before
forwarding it if the answer is not known to be authentic.

repart: Use streq_ptr() in one more place

man: document "web" session type

This has been supported since e9e74f28d783 but never got documented.
Add it to the man pages (plus one comment in a header).

Closes #34127.

crash-handler: Add back notice log message

Fixes https://github.com/systemd/systemd/pull/33959#discussion_r1730987738

update TODO

units: don't set LISTEN_FDNAMES for varlink services explicitly

Now that FileDescriptorName= is properly honored by Accept=yes sockets,
this explicit override is pointless.

core: honor FileDescriptorName= too for Accept=yes sockets

So far we manually hardcoded $LISTEN_FDNAMES to "varlink" in various
varlink service units we ship, even though FileDescriptorName=varlink
is specified in associated socket units already, because
FileDescriptorName= is currently silently ignored when combined with
Accept=yes. Let's step away from this, which seems saner.

Note that this is technically a compat break, but a mostly negligible
one as there shall be few users setting FileDescriptorName= but
still expecting LISTEN_FDNAMES=connection in the actual executable.

Preparation for #34080

mkosi: Stop using git commit timestamps for package releases

This prevents bisecting to figure out which commit broke something
as when going backwards the git commit timestamp will be older meaning
package managers will refuse to upgrade to the "older" version. Let's
make sure the release is always newer by using the current date unless
$SOURCE_DATE_EPOCH is set.

core: move check for combination of PAMName= + KillMode= to unit_verify_contexts()

While at it, allow "mixed" for all unit types too, i.e.
also apply ebc2259da1d1579347b86fc2ebca9f96334b6f22 to
socket/mount/swap units.

core/socket: refuse MaxConnection=0 for Accept=no sockets too

This makes no sense at all, and we already refuse such setting
for Accept=yes sockets. I see no reason not to extend this to
Accept=no ones.

core/socket: use UNIT_ISSET rather than _DEREF where suitable

Merge pull request #34117 from yuwata/network-routing-policy-rule

network: introduce generic conf parser for [RoutingPolicyRule] section

man: reword about default route for DNS traffic

DefaultRoute is a D-Bus property, not a valid setting name in .network
files nor resolved.conf.
Whether a link is the default route or not is configured with
DNSDefaultRoute= setting in .network files.

Merge pull request #34120 from weblate/weblate-systemd-main

Translations update from Fedora Weblate

po: Translated using Weblate (Turkish)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Oğuz Ersen <oguz@ersen.moe>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/tr/
Translation: systemd/main

po: Translated using Weblate (Russian)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Sergey A <Ser82-png@yandex.ru>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/ru/
Translation: systemd/main

po: Translated using Weblate (French)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Léane GRASSER <leane.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

po: Translated using Weblate (French)

Currently translated at 100.0% (253 of 253 strings)

Co-authored-by: Weblate Translation Memory <noreply-mt-weblate-translation-memory@weblate.org>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

network/routing-policy-rule: use config_parse_routing_policy_rule() more

Then, we can drop allocation of RoutingPolicyRule object in each conf
parsers.

No functional change, just refactoring.

network/routing-policy-rule: introduce a generic conf-parser for [RoutingPolicyRule] sectin

This introduce config_parse_routing_policy_rule(), which wraps existing
conf parsers. With this, we can drop many custom conf parsers for
[RoutingPolicyRule], and can reuse generic conf parsers in conf-parser.[ch].

conf-parser: move config_parse_ip_protocol() from network/netdev/fou-tunnel.c

The function is generic enough. Currently it is used at only one place.
But it will be used at another place.

conf-parser: introduce config_parse_uint32_flag()

This is not used currently, but will be used later.

conf-parser: return 1 on success

Typically, conf parsers will ignore most errors during parsing strings
and return 0. Let's return 1 on success. Otherwise it is hard to reused
these function in another conf parser.

parse-util: drop unused parse_ip_prefix_length()

network/routing-policy-rule: merge two conf parsers

Both conf parsers takes an integer. Only difference is the maximum
value. Let's merge them, and pass the maximum value through ltype.