core/mount: stop generating mount units for cred mounts

While @poettering wants to keep mount units for credential
mounts, this has brought nothing but pain in real life.

By generating mount units for each cred mount, we had trouble
with default dependencies on them, which causes their stop jobs
to race with unmounting through exec_context_destroy_credentials().
There were several attempts to workaround the problem, but
none seems very graceful: #26959, #28787, #28957, #31360, #32011.
Also, we want to carry over credentials for services that
survive soft-reboot to the new mount tree, and during the practice
the stop of mount units are irritating.

The mentioned problems are ultimately resolved by disabling
default deps: #32799. But after doing that, maybe the next question
should be "why do we generate these mount units at all?"

Let's revisit the whole concept here. First of all, the credential
dirs are supposed to be opaque to users, and hence nobody should
really reference to these mounts directly. Secondly, the lifetime
of credentials is strictly bound to the service units, but nothing
else. Moreover, as more and more users of credentials pop up,
we could end up with hundreds of such mount units, which is
something we handle poorly. And we emit useless UnitRemoved signals,
etc...

As discussed, it seems that eliminating these mount units
is the correct way to go. No real use cases are impacted,
and the lifetime management becomes sane again.

Replaces #32011

udev: tag MTD devices for systemd

Allow systemd units to require/bind to MTD devices.  One use case is for
using a systemd service to attach an MTD device to an UBI controller,
which cannot be done until the MTD device has been probed.

Fixes #33096

core/socket: allow MPTCP protocol

Multipath TCP (MPTCP), standardized in RFC8684 [1], is a TCP extension
that enables a TCP connection to use different paths. It allows a device
to make use of multiple interfaces at once to send and receive TCP
packets over a single MPTCP connection. MPTCP can aggregate the
bandwidth of multiple interfaces or prefer the one with the lowest
latency, it also allows a fail-over if one path is down, and the traffic
is seamlessly re-injected on other paths.

To benefit from MPTCP, both the client and the server have to support
it. Multipath TCP is a backward-compatible TCP extension that is enabled
by default on recent Linux distributions (Debian, Ubuntu, Redhat, ...).
Multipath TCP is included in the Linux kernel since version 5.6 [2]. To
use it on Linux, an application must explicitly enable it when creating
the socket:

  int sd = socket(AF_INET(6), SOCK_STREAM, IPPROTO_MPTCP);

No need to change anything else in the application.

This patch allows MPTCP protocol in the Socket unit configuration. So
now, a <unit>.socket can contain this to use MPTCP instead of TCP:

  [Socket]
  SocketProtocol=mptcp

MPTCP support has been allowed similarly to what has been already done
to allow SCTP: just one line in core/socket.c, a very simple addition
thanks to the flexible architecture already in place.

On top of that, IPPROTO_MPTCP has also been added in the list of allowed
protocols in two other places, and in the doc. It has also been added to
the missing_network.h file, for systems with an old libc -- note that it
was also required to include <netinet/in.h> in this file to avoid
redefinition errors.

Link: https://www.rfc-editor.org/rfc/rfc8684.html
Link: https://www.mptcp.dev

core: populate $REMOTE_ADDR for AF_UNIX sockets

Set the $REMOTE_ADDR environment variable for AF_UNIX socket connections
when using per-connection socket activation (Accept=yes). $REMOTE_ADDR
will now contain the remote socket's file system path (starting with a
slash "/") or its address in the abstract namespace (starting with an
at symbol "@").

This information is essential for identifying the remote peer in AF_UNIX
socket connections, but it's not easy to obtain in a shell script for
example without pulling in a ton of additional tools. By setting
$REMOTE_ADDR, we make this information readily available to the
activated service.

core/manager: enclose debug info acquirement in 'if (DEBUG_LOGGING)'

rules: Limit the number of device units generated for serial ttys

As per the suggestion in https://github.com/systemd/systemd/issues/33242.

This reduces the number of /dev/ttySXX device units generated in
mkosi from 32 to 4.

udev: rewrite token_match_attr() to make it easier for Coverity to understand

No functional change.

Closes CID#1469719.

sd-dhcp-server: clear buffer before receive

I do not think this is necessary, but all other places in
libsystemd-network we clear buffer before receive. Without this,
Coverity warns about use-of-uninitialized-values.
Let's silence Coverity.

Closes CID#1469721.

meson: update version to 257~devel

NEWS: add placeholder for 257

Finalize NEWS and version for v256

Update hwdb

ninja -C build update-hwdb

tpm2-util: tighten rules on the nvindex handle range we allocate from

Let's follow the conventions set by "Registry of Reserved TPM 2.0 Handles
and Localities" and only allocate nvindex currently not assigned to any
vendor.

For details see:

https://trustedcomputinggroup.org/resource/registry/

Section 2.2

hwdb: add keyboard mappings for the Ayaneo Kun face buttons

See comment in hwdb file for details.

shared: fix typo: dito -> ditto

Follow-up for bc9e5a4c67f5fff536d122118e16a53dfb592acd and
3572d3df8f822d4cf1601428401a837f723771cf.

man: document that separate /usr/local/ must not be used for config

Since we document /usr/local/lib/systemd/ and other paths for various things,
add notes that this is not supported if /usr/local is a separate partition. In
systemd.unit, I tried to add the footnote in the table where
/usr/local/lib/systemd/ is listed, but that get's rendered as '[sup]a[/sup]'
with a mangled footnote at the bottom of the table :( .

Also, split paragraphs in one place where the subject changes without any
transition.

Follow-up for 02f35b1c905ac63ba62f94efebf858412e961fc1.
Replaces https://github.com/systemd/systemd/pull/33231.

bus-unit-util: extend the bus call timeout for UnitFreezer

Follow-up for 1d617b35fef5f7783287965f766c8bb85e932b8e.
Should fix https://github.com/systemd/systemd/issues/33269.

From the logs in the bug:
Jun 10 22:55:37 systemd-logind[909]: The system will suspend now!
Jun 10 22:55:37 ModemManager[996]: <msg> [sleep-monitor-systemd] system is about to suspend
...
Jun 10 22:55:48 systemd-sleep[422408]: Failed to freeze unit 'user.slice': Connection timed out
Jun 10 22:55:48 systemd-sleep[422408]: Performing sleep operation 'suspend'...

The delay is ~11 s, consistent with the patch that set the timeout to 10 s.
Looks like this is not enough. It's the freeze operation that fails, but
thawing might be slow too, so just bump the timeout again.

chase: Tighten "." and "./" check

Currently the check also succeeds if the input path starts with a dot, whereas
we only want it to succeed for "." and "./". Tighten the check and add a test.

test-network: wait a while for addresses to be dropped

Hopefully fixes the following failure:
```
======================================================================
FAIL: test_ipv6_token_prefixstable (__main__.NetworkdRATests.test_ipv6_token_prefixstable)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/systemd/tests/testdata/test-network/systemd-networkd-tests.py", line 5705, in test_ipv6_token_prefixstable
    self.assertNotIn('2002:da8:1:0:b47e:7975:fc7a:7d6e/64', output) # the 1st prefixstable
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AssertionError: '2002:da8:1:0:b47e:7975:fc7a:7d6e/64' unexpectedly found in
  '19: veth99@veth-peer: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000\n
       inet6 2002:da8:1:0:b47e:7975:fc7a:7d6e/64 scope global tentative dynamic mngtmpaddr noprefixroute \n
          valid_lft 2100sec preferred_lft 1000sec\n
       inet6 2002:da8:1:0:da5d:e50a:43fd:5d0f/64 scope global dynamic mngtmpaddr noprefixroute \n
          valid_lft 2100sec preferred_lft 1000sec\n
       inet6 fe80::1034:56ff:fe78:9abc/64 scope link proto kernel_ll \n
          valid_lft forever preferred_lft forever'
----------------------------------------------------------------------
```

man/systemd-soft-reboot.service: upgrade drop-in to unit file for slice

Follow-up for d91c7c91bf5de3b12cc2b29dd8b5ad49f29448ef.
Closes https://github.com/systemd/systemd/issues/33260.

shell-completion: update bash completion for networkctl

shell-completion: update bash-completion for udevadm

- Add missing options.
- Show device nodes when supported.

Closes #33265.

homed: fix typo

Follow-up for c4b5de7eff3d3b51ae88e74fecba09e4fbea4464.

login: re-used -> reused

Suggested by Fossies.

Merge pull request #33264 from bluca/mkosi_dlopen_install

mkosi: install dlopen optional dependencies for debian/ubuntu builds

mkosi: install dlopen optional dependencies for debian/ubuntu builds

mkosi: update to latest

user-util: fix fgetxxent_sane on musl

musl's implementation does not set errno to ENOENT when the end of file
is reached. It returns NULL and leaves errno unchanged.

mkosi.prepare: do not install build dependencies with NO_BUILD

NEWS: fix typo

Merge pull request #33241 from DaanDeMeyer/noble

ci: Switch to Ubuntu 24.04

mkosi: Stop using tools tree

Noble has all the tooling we need so let's stop using a tools tree
and just install the dependencies we need on the host system.

mkosi: Replace sysusers.d with useradd for test user

sysusers.d is not intended for regular users, so let's use useradd
instead.

ci: Switch to Ubuntu 24.04

mkosi: Update to latest

presets: Don't enable systemd-homed-firstboot.service by default

Enabling this service by default means every CI image without a
regular user now gets stuck on first boot due to the password prompt
from systemd-homed-firstboot.service. Let's not enable the service
by default but instead require users to enable it explicitly if they
want its behavior.

Fixes #33249

dev-setup: Follow /dev/console symlinks when locking /dev/console

systemd-nspawn sets up /dev/console as a symlink to a pty, so let's
make sure we follow the symlink when trying to lock /dev/console so
we don't fail with ELOOP.

man: note that templated surviving units need a drop-in for their slice

As reported on the mailing list, this is non-obvious, so document it.

https://lists.freedesktop.org/archives/systemd-devel/2024-June/050351.html

Merge pull request #33237 from bluca/dlopen_deps

mkosi: enable noble-backports for ubuntu and update debian packaging commit

mkosi: update debian packaging commit id

mkosi: enable noble-backports for ubuntu

Required to get the new dh-dlopenlibdeps package

Update version and finalize NEWS for 256~rc4

run: do not pass the pty slave fd to transient service in a machine

Follow-up for 28459ba1f4df824d5ef7f7d1a9acb6953ea24045

The pty path returned by OpenMachinePTY() cannot be opened from outside
the machine, hence let's use the plain Standard{Input,Output,Error}=tty
in such a case. This means if --machine= is specified, #32916 would occur.
A comprehensive fix requires a new dbus method in machined, which shall
be material for v257.

See also: https://github.com/systemd/systemd/pull/33216#discussion_r1628020429

Replaces #33216

Co-authored-by: Mike Yuan <me@yhndnzj.com>

Merge pull request #33232 from bluca/chores

Chores for RC4

mkosi: Stop skipping pkcs11 test on opensuse

A fix was made to the softhsm package so the test now passes.

NEWS: update contributors

Update syscalls tables

ninja -C build update-syscall-tables update-syscall-header

Update hwdb

ninja -C build update-hwdb

Revert "network: add "mac" to alternatives name policy by default" (#33227)

This reverts commit 0f5a529217f1327f020ab54deed09e6fae1f1fef.

As discussed in https://github.com/systemd/systemd/issues/33104,
that patch caused problems in Debian which has a udev drop-in with

  [Match]
  Path=*-usb-*

  [Link]
  NamePolicy=mac

The rename fails:
   eth0: Policy *mac* yields "enx00*".
   eth0: /usr/lib/udev/rules.d/80-net-setup-link.rules:11 NAME 'enx00*'
   eth0: /usr/lib/udev/rules.d/99-systemd.rules:69 RUN '/usr/lib/systemd/systemd-sysctl --prefix=/net/ipv4/conf/$name --prefix=/net/ipv4/neigh/$
   eth0: sd-device: Created database file '/run/udev/data/n9' for '/devices/pci0000:00/0000:00:1c.4/0000:02:00.0/0000:03:01.0/0000:05:00.0/0000:
   eth0: Failed to rename network interface 9 from 'eth0' to 'enx00*': File exists
   eth0: sd-device: Created database file '/run/udev/data/n9' for '/devices/pci0000:00/0000:00:1c.4/0000:02:00.0/0000:03:01.0/0000:05:00.0/0000:
   eth0: Failed to process device, ignoring: File exists

Two network interfaces have the same MAC and it's not marked NET_ADDR_STOLEN.
In this case the conflict is very visible because it causes the rename to fail,
but it would also occur in other cases, for alternative names.

A patch has been submitted for r8152 to properly set NET_ADDR_STOLEN:
https://lore.kernel.org/linux-usb/20240605153340.25694-1-gmazyland@gmail.com/T/#u

Let's revert this now to avoid a regression. We can try again after the kernel
issue is resolved.

Closes https://github.com/systemd/systemd/issues/33104.

Merge pull request #33218 from DaanDeMeyer/initrd-modules

mkosi: Include fewer modules in the initramfs

Merge pull request #33189 from bluca/fscrypt_flush

homed: flush fscrypt key on lock/deactivate

mkosi: Include fewer modules in the initramfs

Let's only use mkosi's default list of modules instead of all of
them.

mkosi: Update to latest

homed: flush fscrypt key on lock/deactivate

The fscrypt key is added to the user keyring, and needs to be flushed out too.

Fixes https://github.com/systemd/systemd/issues/33138

mkosi: do a sparse checkout of debian/ubuntu packaging repo

The repository on Salsa includes the full upstream sources, which means
they are duplicated, taking extra space and showing duplicated grep results.
But we only need the debian/ subfolder, so do a sparse clone and checkout.

util: add keyring_describe helper and move to basic

So that it can be used from libsystemd. No external dependencies.

network/ndisc: use router lifetime as one for redirect route

Previously, we did not set lifetime for redirect route, and redirect
routes were removed only when received a RA from the target address.
Thus, routes that redirect on-link addresses were never removed.

RFCs mention nothing about the lifetime of redirection. But the previous
implementation does not pass the IPv6 Core Conformance Tests.

This makes
- remember all received RAs and manage them by the sender address
  (previously, remembered only one with the highest preference),
- then use the router lifetime as one for redirect route,
- remove redirect route also when the router corresponds to the sender
  address is dropped (previously, considered only target address).

Note, even if we recieve a new RA, we do not update existing redirect
routes. The lifetime of the redirect route is updated only when a new
Redirect message is received.

Closes #32527.

man: document /usr/local/lib in search paths

Merge pull request #33198 from keszybz/update-distro-hash

Add helper script to update distro packaging hashes

mkosi: update fedora commit reference

* 1f94b56cee Partially backport PR #33016 to fix crashes in KDE 6.3.0

mkosi: update debian commit reference

* 5b9607385d debian/tests/storage: without scsi_debug, skip test
* 8a195a6327 debian/extra: use a dropin to configure Nice=-1 on systemd-journald.service
* 5436d49288 debian/extra: use a drop-in resolved.conf to configure Cache=no-negative
* 596a99d2d3 debian/extra: set ManagedOOMSwap=auto on -.slice
* 07ba81b14d LimitCORE: restore default hard limit to infinity
* df3a9a91e8 Restart managers on libc-upgrade dpkg trigger

mkosi: set -o nounset for scripts

Those scripts are written with the expectation that all input variables are set
and will not behave correctly if something is ommitted. In particular, the
non-chrooted scripts (mkosi.clean, mkosi.sync) might wreak havoc if called
without the full environment.

tools/update-distro-hash: add a helper script to sync submodule

po: update and correction translation (Chinese (Traditional) (zh_TW))

Revert "mkosi: Don't install wireguard-tools on Debian"

wireguard-tools was added back to debian testing.

This reverts commit 8c335463d9fe6c2e2f3d9584d7c26871800065e2.

mkosi: Disable scratch device by default

We include scratch space in the rootfs image itself so we don't have
need for the scratch device so let's disable it by default.

Merge pull request #33197 from poettering/cryptsetup-fallback-tweak

cryptsetup: unset an unlock path on each unlock retry

core: Fix CPUQuotaPerSecUSec unit file serialization

CPUQuota= can deal with float percentages perfectly fine these days
(up to two places after the dot), so let's take that into account
when serializing the value to the transient unit file so we don't lose
precision when specifying e.g. "CPUQuota=0.5%".

json: use secure un{base64,hex}mem for sensitive variants

While tracing a LUKS code path in homework, I've noticed that we don't
erase buffers when doing unbase64 or unhex on JSON variants, even if the
variant is marked as sensitive.

network/route: fix condition in route_can_update()

An existing route with lifetime can be always updated with a new
finite lifetime. As the comment in the code says, we cannot disable the
lifetime. So, the condition must be '==', rather than '!='.

Fixes #33210.

po: Translated using Weblate (Chinese (Simplified) (zh_CN))

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: hanjinpeng <hanjinpeng127@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/zh_CN/
Translation: systemd/main

cryptsetup: check keyring cache passphrase at least once

The first try will be on the TPM2, so in practice this was always skipped
as it happens only on the first try. Use a different bool to track this.

cryptsetup: unset an unlock path on each unlock retry

If we couldn't unlock a device with the chosen unlock path, let's not
fall back to the lowest one right away, but only flush out one path, and
try the next.

Fixes: #30425
Follow-up-for: #30185
Alternative-to: #33183

libpasswdqc: add missing `#include "dlfcn-util.h"`

Merge pull request #33199 from DaanDeMeyer/optimization

mkosi: Build with -O0 by default

Fix key toggle touchpad and programmable buttom for Positivo N14AP7

mkosi: Stop sourcing /etc/makepkg.conf

We don't need this anymore since we now just do delayed evaluation
of $CFLAGS in /etc/makepkg.conf and it imports $CFLAGS into the
script environment which messes everything up.

mkosi: Build with -O0 by default

This was accidentally removed in https://github.com/systemd/systemd/pull/33193

Merge pull request #33193 from DaanDeMeyer/fortify

mkosi: Disable FORTIFY_SOURCE when building without optimizations or with sanitizers

Merge pull request #33192 from DaanDeMeyer/packaging

mkosi: Various opensuse improvements

mkosi: Build Arch Linux image with -D_FORTIFY_SOURCE=3

_FORTIFY_SOURCE requires optimizations to be enabled so we set -O2
as well.

mkosi: Drop $OPTIMIZATION variable

Let's instead just use $CFLAGS to override the optimization level.

mkosi: Use __meson_verbose in opensuse build script

OpenSUSE Tumbleweed now ships meson 1.4.0 which ships the new
__meson_verbose macro.

mkosi: Use meson_extra_configure_options for opensuse

This is now available so let's use it.

mkosi: Update opensuse commit to latest

po: Translated using Weblate (Swedish)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Luna Jernberg <bittin@reimu.nl>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/sv/
Translation: systemd/main

po: Translated using Weblate (French)

Currently translated at 100.0% (233 of 233 strings)

Co-authored-by: Pierre GRASSER <pierre.grasser@proton.me>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/main/fr/
Translation: systemd/main

Merge pull request #33173 from yuwata/test-network

test-network: several  cleanups

test-network: introduce a .network file to protect existing interfaces

test-network: show PID and Invocation ID of networkd

Then, we can easily find relevant journal entry on failure.
This is especially useful when the test is running with --no-journal.

test-network: flush stream buffer and journals before/after running test

test-network: generate debugging logs of networkd-persistent-storage.service

test: disable TEST-21-DFUZZER in mkosi, as it is very flacky

Can be re-enabled once https://github.com/systemd/systemd/issues/33156
is solved

journald: enable persistent FD Store to fix logging during soft-reboot

A unit with StandardOutput=journal (the default) will get its stdout/stderr sockets
disconnected when journald stops, as the file descriptors on journald's side are
not preserved (it works on restart, as the FD Store keeps them open during restarts).
Set FileDescriptorStorePreserve=yes so that the journal FD's stay open during a soft
reboot, and applications don't get broken stdout/stderr.

docs: fix escaped $ in CGroup Interface

Revert "test: Run end.sh when running integration tests with mkosi"

It seems this introduced a regression in the CentOS CI;

14:25:58 FAILED TASKS:14:25:58 -------------
14:25:58 TEST-03-JOBS
14:25:58 TEST-52-HONORFIRSTSHUTDOWN
14:25:58 TEST-63-PATH

Revert for now.

This reverts commit da3c6fc55363af2163b4d2613c9951bdaea24810.

Merge pull request #33146 from DaanDeMeyer/clang

mkosi: Add support for building with LLVM

mkosi: Allow using $MESON_VERBOSE to enable verbose meson output

mkosi: Build Fedora Rawhide sanitizers job with LLVM

More coverage and clang tends to be better at sanitizers than gcc.

mkosi: Build with --werror in CI