core/varlink: make sure we setup non-serialized varlink sockets

Before this PR, if m->varlink_server is not yet set up during
deserialization, we call manager_setup_varlink_server rather than
manager_varlink_init, the former of which doesn't setup varlink
addresses, but only binds to methods. This results in that
newly-added varlink addresses not getting created if deserialization
takes place.

Therefore, let's switch to manager_varlink_init, and add some
sanity checks to it in order to prevent listening on the same
address twice.

Fixes #29373

Replaces #29421

systemd-journal-upload: Increase failure tolerance (#19426, #2877)

As systemd-journal-upload deals mostly with remote servers, add
some failsafes to its unit to restart on failures.

```
[Service]
Restart=on-failure
RestartSteps=10
RestartMaxDelaySec=60
```

Merge pull request #29551 from poettering/no-empty-structs-in-varlink

varlink: properly refuse empty structs/enums in varlink IDL

varlinkctl: generate slightly more useful error messages

Merge pull request #29502 from keszybz/sd-boot-config-tweaks

Tweaks to sd-boot UX

po: Translated using Weblate (French)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: Pierre GRASSER <pierre.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/fr/
Translation: systemd/main

test: add simple test for two common kind of errors

varlink: don't generate %m error message if we are synthesizing the error

We are outputting a more useful log message anyway, the "Bad message"
error string is just confusing.

varlink: refuse empty () structs/enums

If we encounter an empty struct in the varlink IDL it could also be an
empty enum. Refuse this to avoid the ambiguity.

The spec doesn't cover this case clearly, hence let's better be on the
safe side and refuse it rather than making a decision what it means.

Merge pull request #29544 from yuwata/network-dhcp-bus-command

network: several fixlets for DBus methods for DHCP client and server

core: fix checking for extension-releases for ExtensionImages/Directories

The parsing is done after the image has been opened, not before, as it
cannot be done on an block device. Also fix returning on any error for
ExtensionDirectories, not just ENOENT.

Follow-up for 55ea4ef096543d2bceea9315868d5aca945d7a57

update TODO

man/systemd.exec: Update service result table

exec-condition and oom-kill were added without updating this table.

hibernate-resume: remove kernel/image version comparison when resuming

We already had a similar check that was removed, see
8340b762e4f597e98a72de1385e74b9be04e521d (*). The kernel supports loading of a
resume image from a different kernel version. This makes sense, because the
goal of "resume" is to replace the running system by a saved memory image, so
it doesn't really matter that the short-lived kernel is different.

By removing the check, we make the process more reliable: for example, the user
may select a different kernel from a list, or not have the previously running
kernel in /boot at all, etc. Requiring the exact same kernel version makes the
process more fragile for no benefit.

Similar reasoning holds for the image version: the image may be updated, and
for example an older kernel+initrd might be used, with an embedded VERSION_ID
that is not the latest. This is fine, and the check is not useful.

I left the check for ID/IMAGE_ID: we probably don't want to use the resume
image if the hibernation was done from a different installation.

(Note: why not check VERSION_ID/IMAGE_VERSION? Because of the following
scenario: a user has an installation of Fedora 35, and they upgrade to Fedora
36, which means that the os-release file on disk gets replaced and now
specifies VERSION_ID=36. But the running kernel is not replaced, and its
package is not removed because the running kernel version is never removed, so
we still have a boot entry that in initrd-release says VERSION_ID=35. Without
rebooting, the user does hibernation. When resuming, we want to resume, no
matter if one of the new entries with VERSION_ID=36 or one of the old entries
with VERSION_ID=35 is picked in the boot loader menu.

If the installation is image-based, i.e. it has IMAGE_ID+IMAGE_VERSION, the
situation is similar: after an upgrade, we may still have an boot entry from
before the upgrade. Using an older kernel+initrd to boot and switch-root into a
newer installation is supported and is rather common.

In fact, it is a rather common situation that the version reported by the boot
entry (or stored internally in the initrd-release in the initrd) does not match
the actual system on disk. Generally, this metadata is saved when the boot menu
entry is written and does not reflect subsequent upgrades. Various
distributions generally keep at least 3 kernels after a upgrade, and during an
upgrade only install one new, which means that after a major upgrade, generally
there will be at least two kernels which have mismatched version information.)

OTOH, I think it is useful to *write* all the details to the EFI var. As
discussed in https://github.com/systemd/systemd/issues/29037, we may want to
show this information in the boot loader. It is also useful for debugging.

(*) Also again discussed and verified in
https://github.com/systemd/systemd/pull/27330#discussion_r1234332080.

", ignored" is dropped, since this failure is likely to cause the following
check to fail. Better not to say anything then to say the misleading thing.

Revert "Revert "meson: use c_args in generator scripts (#10289)""

This reverts commit 0e3cc902faec4f18d5fa606396f602b08bc94e27.

Fixes #10288.
I have confirmed that this does now fix cross-compilation.
It appears that changes upstream in Meson, probably mesonbuild/meson#5263, have made the original MR, #10289, work now.

This needs to be tested to ensure that it doesn't break Travis CI like when it was reverted in #10361.

efi/boot: rename ConfigEntry to BootEntry

Some of the entries are really configured, but we also have a bunch
of automatic entries. Calling them "config entries" is misleading, let's
use the more natural "boot entry".

While at it, rename:
  config_load_entries() → config_load_type1_entries()
  config_entry_add_unified() → config_load_type2_entries()
  config_title_generate() → generate_boot_entry_titles()
  config_entry_add_<type>() → config_add_entry_<type>()

No functional change.

efi/boot: adjust grammar and punctuation in comments

efi/boot: use "else if" instead of explicit "continue"

No functional change.

efi/boot: make timeout changes relative to current value

When the user pressed + or -, we would set the efivar override, starting
from the default of 0. Instead, set an override that starts at the current
value. This means that when user has e.g. a configured override of 5 s, and
they press +, they get an override of 6 s. I think this is leads to a much
smoother experience for a user, who does not necessarilly need to know that
we have three levels of overrides, they just want to easily configure the
timeout with keys. If they press +, the timeout should increase, and not
jump to some low value.

Also, once an override has been set via the boot menu, i.e. the efivar is set,
do not allow unsetting the efivar from the boot menu. This way we also avoid
an unexpected "jump" to whatever the other sources of configuration specify.
The user can configure any value with the keys that they want, so we don't
need to allow unsetting.

efi/boot: split out helper to reduce duplicate formatting code

No functional change.

sd-boot: when rebooting or powering off, save config state

The menu_run() function allows the user to set/unset default entry, or to
increase/decrease menu timeout. After a keypress, status like
  "Menu timeout set to 5 s"
is printed, but there actually isn't any immediate effect. The value is only
written right right before booting a menu entry to avoid unnecessary wear&tear
on the nvram storage. This delayed write is supposed to be invisible to the
user.

Nevertheless, operations like reboot into firmware, reboot, or shutdown were
done immediately. We need to exit the loop first, save the state, and only do
the op afterwards.

Fixup for f6531b11d21931b3952d566ceded672ba21681cc and
e6cab77eca8f6556f381c348b0452b526a752ab7.
Also reverts 498d0cc426afc13fdadb0a385fd16c005645e0cf.

man: use consistent label for "Reboot Into Firmware Interface"

That is what sd-boot actually displays.

efi/boot: use DEFINE_TRIVIAL_CLEANUP_FUNC() in one more place

No functional change.

network: do not trigger assertion by forcerenew command

When DHCP server is not running, sending force-renew command triggers
assertion.

sd-dhcp-server: make sd_dhcp_server_is_running() silently work with NULL

We already do in the same way for sd-dhcp-client and friends.

test-network: drop unnecessary explicit stop of dnsmasq

test-network: add test case for renewing DHCP lease

network: restart dhcp4 client when renewing lease is requested but the client is stopped

Follow-up for fc35a9f8d1632c4e7a279228f869bfc77d8f5b9c.

Fixes the issue https://github.com/systemd/systemd/pull/29472#issuecomment-1759092138.

Merge pull request #29523 from keszybz/kernel-install-dtb-files

Do not look for dtb files in /boot, add support in 60-ukify.install

Merge pull request #29472 from yuwata/network-dhcp-ipv6-only-mode

network/dhcp: add IPv6 only mode support

test: use kill-whom instead of kill-who (the latter is deprecated)

Merge pull request #29537 from poettering/varlink-tweaks

varlink: some smaller usability tweaks + bugfixes

core/exec-credential: use rmdir_and_freep at one more place

core/execute: suppress logs if LogLevelMax= is specified

Fixes #29532.

sd-device: Support matching all properties

Let's support enumerating over devices that match all of the given
properties instead of any of the given properties by adding a new
function sd_device_enumerator_add_match_property_required() which
specifies properties that should all be matched instead of just one.

Fixes #28372

update TODO

varlink: use the right validator for error replies

varlink: didn't generate a varlink error reply if a failed method call handler already did

It might happen that a method call handler already generated an error
reply and then still propagated the error back to the varlink logic.
Let's not try to generate a 2nd reply from that error code then, but
simply proceed without. This simplifies handling of errors in method
call handlers, because they can uniformly return errno-style error
codes, and only if they want return a full Varlink errror.

varlink: don't bother replying about validation errors on method calls with 'oneway' set

varlink: automatically send ExpectedMore error message back when we were called without more=true set, but need it

Various Varlink calls only make sense if they are called with more=true
(i.e. in a mode where multiple replies are expected to be sent). If a
method call assumes it is called with more (manifested in the fact it
calls varlink_notify(), the call to reply to such messages) let's return
a recognizable error code for the violated expectation.

This adds a new error for this, org.varlink.service.ExpectedMore. Note
we are squatting the official org.varlink.service namespace, but for
such a basic thing it makes sense to add it there.

kernel-install/60-ukify: also support the convention with 'devicetree' file

Requested in https://github.com/systemd/systemd/pull/28582#issuecomment-1673300596.
The is the last requested changed, so fixes #28771.

90-loaderentry.install is modified to also check $KERNEL_INSTALL_CONF_ROOT
when looking for the devicetree file. For normal use this is probably not
needed, but it's nice to be consistent and it also makes it much easier to
write the tests.

In tests, also do 'ukify inspect' now that we have it.

ukify: fix .dtb section name in 'inspect'

Fixup for df4a46733a609f1673de0bebb38e89fffd70c16c.

kernel-install/60-ukify: add helper function for locating input files

Also rename config_file_location() to uki_conf_location() to make
it obvious which config file was meant.

man/kernel-install: fix formatting and document /etc/kernel/devicetree

Each filename should be a separate <term>, so that they separated in the
formatted text. Also, we list files in documentation in priority order, but
here they were in reverse order. Also, rework the description of
$KERNEL_INSTALL_CONF_ROOT to say that it makes kernel-install not look at the
other files. This requires some more words, so make this a separate paragraph
and refer from individual items to it. Also, drop some sentences with "Read by
...", they were already outdated.

Partial fix for #28771.

Co-authored-by: Emil Renner Berthing <systemd@esmil.dk>

kernel-install/90-loaderentry: do not read dtbs from /boot

/boot is not trusted, so we shouldn't use load files from there. Also, space in
/boot is limited, so it doesn't make sense to install the files under one
location there and then copy them to a different location. We should only copy
the files from /usr somewhere and then install it in the appropriate place under
/boot.

Also use "/usr/lib" instead of the "/lib" prefix. We don't support unmerged-user
anymore.

Addresses some of the feedback in
https://github.com/systemd/systemd/pull/28582#discussion_r1285820556.

timedate: Extend timeout for setting NTP

One of the steps in setting up NTP is to enable/disable the
'systemd-timesyncd.service' and then perform a daemon reload.
we use an extra-long timeout for reload in timedated as same as used in
systemd daemon reload to avoiding certain situation have longer reload
times (which exceed the 25 second default timeout used for
dbus-communication), potentially leading to setting NTP failure.

dns-domain: fix the RFC reference

test-network: add tests for DHCP IPv6 only mode

For [DHCPv4] IPv6OnlyMode= and [DHCPServer] IPv6OnlyPreferredSec=.

network/dhcp4: support IPv6 only mode (RFC 8925)

Co-authored-by: Susant Sahani <ssahani@gmail.com>

sd-dhcp-client: support IPv6 only mode

This makes sd-dhcp-client optionally request IPv6 only preferred
option (RFC 8925).

network/dhcp-server: allow to configure IPv6 only preferred option

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>

sd-dhcp-server: support IPv6 only mode

This makes sd-dhcp-server send IPv6 only preferred option (RFC 8925).

Co-authored-by: Yu Watanabe <watanabe.yu+github@gmail.com>

Merge pull request #29530 from poettering/debug-log-tweaks

pid1: various debug logging tweaks

doc: readd vanished ```

This disappeared in 1e8f5f79e1b6ae2b4115df280c626b71c54a5bb6, let's
restore it.

killall: suppress debug log if some cgroup doesn't have survive_final_kill_signal xattr set

This is the default case, hence really no reason to be noisy about that.

bpf-lsm: suppress noisy debug log message if we remove a unit from the bpf-lsm table where it was never added

There's really no point in logging about one of the most common cases we
have: that no BPF-LSM policy was installed for a specific unit.

fdset: improve debug logging for left-over fds

Let's show which fds are closed as part of the left-over fd set logic on
daemon reload/reexec cycles.

This is useful to debug accidentally unclaimed fds.

docs: clarify difference between kernel stub and sd-stub in UEFI doc

limits-util: suppress noisy debug message when reading tasks in top-level cgroup

We have the "tasks.max" cgroup attribute only if we run in a cgroup
namespace, but not on the host. Hence let's handle ENODATA silently
simply to reduce the debug noise generated.

Merge pull request #29427 from ddstreet/cryptenroll_specify_handle_index

Cryptenroll specify handle index

sd-gpt: add defines for big-endian MIPS/MIPS64

According to the respective change in the DPS:
<https://github.com/uapi-group/specifications/pull/86>

Signed-off-by: Roland Hieber <rhi@pengutronix.de>

namespace: make setup_namespace() less crazy

Let's replace the ridiculous number of arguments with a structure, to
make this function less weird.

No change in behaviour, just some refactoring.

docs: document that in future we'll do EV_EVENT_TAG only, no EV_IPL

loginctl: *-status: set minimum table column width if extra info will be printed

Follow-up for bf366954fa09070f6c3e1e630f57d20463fc5739

Before this commit, we hardcode "prefix" to the widest field
possible in the table. However, there's no guarantee that the
field would actually be used/added, so it could potentially
result in misalignment. Therefore, let's set the minimum width
of the cell to the hardcoded width too.

networkctl: use proper vertical table for status

Also modernize macro definition and error handling.

tpm2: don't use GetCapability() to check transient handles

The kernel tpm "resource manager" interface doesn't report that any transient
handles exist, even if they do, so don't bother asking if the handle is
transient.

man: fix example for systemd.swap-extra

dissect: don't show non-JSON arch + sector size in JSON mode

doc-sync: add support for uploading the documentation for main

It will refuse running on any other branch than main or stable branches.

Also update the release instructions to run it on the stable branch.

man/systemd.exec: document behavior of SetLoginEnvironment= when unset

Follow-up for 854eca4a95993bb1bd77a18de39efe1ed1a44bbd

Addresses https://github.com/systemd/systemd/pull/29493#discussion_r1351980046

tpm2: do not call Esys_TR_Close()

Unfortunately, the tpm2-tss library doesn't reference count handles, and a call
to Esys_TR_Close() will remove the handle that could be in use by other
code. So stop calling Esys_TR_Close(), and leave the handle around until we
cleanup the entire ESYS_CONTEXT.

test: add tests for systemd-cryptenroll --tpm2-seal-key-handle

In TEST-70-TPM2, test systemd-cryptenroll --tpm2-seal-key-handle using the
default (0) as well as the SRK handle (0x81000001), and test using a non-SRK
handle index after creating and persisting a primary key.

In test/test-tpm2, test tpm2_seal() and tpm2_unseal() using default (0), the SRK
handle, and a transient handle.

cryptenroll: allow specifying handle index of key to use for sealing

This defaults to the SRK index.

Merge pull request #29493 from YHNdnzj/unit-always-set-user-home

core/execute: always set $USER and introduce SetLoginEnvironment=

Merge pull request #29507 from abderrahim/doc-sync-improvement

Improvements to the doc-sync target

Merge pull request #28699 from bluca/dtb_addon

stub: add support for dtb addons

Update TODO

boot: measure loader.conf in PCR5

Results in:

- EventNum: 26
  PCRIndex: 5
  EventType: EV_EVENT_TAG
  DigestCount: 4
  Digests:
  - AlgorithmId: sha1
    Digest: 155fb999ca61ba8c7b1f1d87cee821f772ef084a
  - AlgorithmId: sha256
    Digest: 4c26adf231603613afc00bb3d5cad046aec6a525ca01262417c7085caab452b5
  - AlgorithmId: sha384
    Digest: 3e0758cb6605ac274e55d747bf29ee3474fc4413cd5e7a451d1375219cd7f08a30fc915a8df7131657ca78b82b9ccec8
  - AlgorithmId: sha512
    Digest: e32d905b9092c543802f386db9a397d9b6593bdb8360fb747a6d23e491a09595fec8699184cc790d0873a3d52ed16d045538f0c73ece48278fae0fb6ed9b4ed6
  EventSize: 32
  Event: 2a58bcf5180000006c006f0061006400650072002e0063006f006e0066000000

stub: measure all cmdline addons together

stub: add support for dtb addons

Same as kernel command line addons.

Move CLEANUP_ARRAY to src/fundamental

efi: add xmemdup

efi: add EFI_TCG2_TAGGED_EVENT and helpers

mkosi: use different configs for Debian kernel package list

The kernel package is named after the architecture, so builds will
fail if mkosi --architecture arm64 is used

test: make the DDI tests work with older openssl

Older openssl unfortunately insists on having a config file with certain
fields, so let's reuse the one we already create in previous tests.

Should address following error on C8S:

[  407.812039] testsuite-50.sh[654]: + openssl req -config /dev/null -subj=/CN=waldo -x509 -sha256 -nodes -days 365 -newkey rsa:4096 -keyout /tmp/test-50-privkey.key -out /tmp/test-50-cert.crt
[  407.849089] testsuite-50.sh[2325]: Generating a RSA private key
[  408.947853] testsuite-50.sh[2325]: ..................................++++
[  423.100903] testsuite-50.sh[2325]: ..........++++
[  423.111036] testsuite-50.sh[2325]: writing new private key to '/tmp/test-50-privkey.key'
[  423.115036] testsuite-50.sh[2325]: -----
[  423.117842] testsuite-50.sh[2325]: unable to find 'distinguished_name' in config
[  423.120863] testsuite-50.sh[2325]: problems making Certificate Request
[  423.123448] testsuite-50.sh[2325]: 140737354091984:error:0E06D06C:configuration file routines:NCONF_get_string:no value:crypto/conf/conf_lib.c:273:group=req name=distinguished_name

Follow-up to 99d9edf0bde.

dissect: avoid clobbering device-mapper error when activating verity

The device-mapper driver can return a wild variety of errors when trying
to activate the same dm-verity volume concurrently, as it might happen
with an image. There is a fallback logic in place, but the original
return code was clobbered when userspace signature check was added.
Add it back.

Follow-up for c2fa92e7e8907d9

doc-sync: automatically detect whether we're updating the latest version

also update the release instructions to push release candidates to -stable

doc-sync: add man/ to the passed directory

This mirrors the behaviour before multiple version support

core/execute: always set $USER and introduce SetLoginEnvironment=

Before this commit, $USER, $HOME, $LOGNAME and $SHELL are only
set when User= is set for the unit. For system service, this
results in different behaviors depending on whether User=root is set.

$USER always makes sense on its own, so let's set it unconditionally.
Ideally $HOME should be set too, but it causes trouble when e.g. getty
passes '-p' to login(1), which then doesn't override $HOME. $LOGNAME and
$SHELL are more like "login environments", and are generally not
suitable for system services. Therefore, a new option SetLoginEnvironment=
is also added to control the latter three variables.

Fixes #23438

Replaces #8227

core/execute: modernize get_fixed_{user,group}

No functional change, preparation for later commit.

core/execute: use FOREACH_ARRAY in one more place

man: support multiple versions of the documentation on the website

This changes the doc-sync meson target from a simple rsync command to a
script that:

* puts the documentation in a subdirectory according to the version
* injects a bit of javascript to add a drop-down to switch between versions
* updates an index.json file with the newly uploaded version
* keeps the latest/ directory up to date with the latest version
* supports a --no-latest switch to be used when uploading older versions

Merge pull request #29495 from yuwata/network-manager-state-file

network: fixlets for manager state file

Merge pull request #29490 from yuwata/network-tc-fixes

network: several fixes for traffic control support

add udev rule for micmute (f20)

test-network: add test for DHCPv6 information requesting mode

For issue #28566.

network/dhcp6: keep lease when running in information request mode

Fixes #28566.

network/dhcp6: shorten dhcp6_handler()

Note, currently dhcp6_lease_information_acquired() do nothing, so this
does not change any behavior.

test-network: test for NTP servers by DHCPv6 protocol

For issue #29148.

network: also save NTP servers and friends obtained by other protocols

Previously, only servers that statically configursd or obtained by
DHCPv4 protocol are saved in the manager state file.

NTP servers obtained by DHCPv6 could not be used by timesyncd.

Fixes #29148.